幸之助が十一歳になったころ、それまで郷里の和歌山に住んでいた母と姉が、幸之助や父がいる関係で、大阪の天満に移ってきた。そして、姉は読み書きができたので、大阪貯金局に事務員として勤めることになったが、そこでたまたま給仕の募集があることを知り、そのことを母に伝えた。
母は、奉公している幸之助を手元で育てたいと思ったのであろう。幸之助に、「幸之助も小学校を出なくては、先で読み書きに不自由するだろうから、この際、給仕をして夜間は近くの学校へでも行ってはどうか」と勧めてくれた。
母の手元から給仕に通って、夜は勉強する。窮屈な奉公生活をしていた幸之助にとって、それはたいへんうれしい話である。「ぜひそうしてほしい」と、母に願った。母は、「それではお父さんに話して、お父さんがよければそうすることにしましょう」と言ってくれた。
ところが、そのつぎに父に会ったとき、父はきっぱりこう言った。
「お母さんから、おまえの奉公をやめさせて、給仕に出し、夜は学校に通わせては、という話を聞いたが、わしは反対じゃ。奉公を続けて、やがて商売をもって身を立てよ。それがおまえのためやと思うから、志を変えず奉公を続けなさい。今日、手紙一本よう書かん人でも、立派に商売をし、多くの人を使っている例がたくさんあることを、お父さんは知っている。商売で成功すれば、立派な人を雇うこともできるのだから、決して奉公をやめてはいけない」
せっかくの母の思いであったが、幸之助は給仕になることを断念した。その後ほどなく父は病にかかり亡くなったが、この父の言葉は、奉公中はもとより、事業を始めてからも、ときおり思い出され、幸之助を支えてくれたのである。