„Nemáte vůbec potuchy o tom, co tenhle dopis udělal s Harrym,“ přiznala po letech Queenie Brownovi a Gaineso­vi. „Byl z něho úplně pomatený.“ V jeho očích tohle povolání jednoduše nebylo pro mladého muže, zvláště byl-li jím jeho vlastní syn. Když se Harry Epstein vzpamatoval, rozhodl, že se Brian okamžitě vrátí domů. Namísto do Londýna nastoupil zklamaný chlapec v září 1950 do rodinného obchodu s nábyt­kem na Walton Road. Tam se ke všemu denně střetával v drobných potyčkách s dědem, který stále ještě docházel každé ráno v šest hodin do obchodu. Peter Brown o tom později napsal: „Starý Isaac zbudoval tyhle prodejny svým vlastním potem a krví, a bylo nasnadě, že si nenechal od svého vnuka - natož takového, který se chtěl stát módním návrhářem - mluvit do toho, jak má vést svůj podnik.“ S při­bývajícím časem výstupů mezi oběma přibývalo, až přerostly v otevřený konflikt. Stalo se tak v den, kdy senior firmy při ranním příchodu uviděl všechen sedací nábytek ve výkladu naaranžovaný zády ke kolemjdoucím. Brianovi to tak prý připadalo „přirozenější“. Otec Harry jej pro jistotu odvolal z dědova dosahu a poslal Briana do učebního kursu v jedné z poboček. Chlapec si tam k překvapení rodiny vedl dobře, byl považován za bystrého, a když po šesti měsících kurs opouštěl, obdržel odměnou psací soupravu s pověstným zla­tým perem značky Parker.