幸之助が社会に第一歩を踏み出したのは、尋常小学校四年の秋のことである。
生家は村でも上位に入る小地主で、かなりの資産家であったが、幸之助が四歳のとき、父親が米相場で失敗、先祖伝来の土地を人手に渡し、単身大阪に働きに出た。その父から母のもとに、「幸之助も四年生で、もう少しで卒業だが（当時尋常小学校は四年制であった）、大阪八幡筋にある心やすい火鉢店で、小僧がほしいとのことである。ちょうどよい機会であるから幸之助をよこしてほしい」という手紙が届いた。
当時、南海電鉄は今の和歌山市まで開通しておらず、紀ノ川駅が終点であった。ここから幸之助は、一人汽車に乗って大阪に向かった。明治三十七年十一月二十三日、満十歳の誕生日を迎える四日前のことである。
駅まで見送りに来た母は、心配と寂しさで胸が締めつけられる思いだったのであろう。「体に気をつけてな。先方のご主人にかわいがってもらうんやで」と、目に涙を浮かべながら、こまごまと幸之助に言って聞かせた。そして、大阪に行く乗客に、「子どもですが、大阪にまいりますので、あちらへ着けば迎えに来ていますが、どうかその途中よろしく頼みます」と、何度も頼んだ。
幸之助も、母と別れる寂しさと、初めて汽車に乗るうれしさ、商都といわれる大阪へのあこがれと、悲喜こもごもの言いようのない思いでいっぱいであった。この晩秋の紀ノ川駅での情景は、いつまでも幸之助のまぶたに焼きついて離れなかった。
晩年、幸之助は、「今静かに考えてみますと、九歳の子どもを、自分の膝元から遠く手放さなければならなかったことは、母としてこの上なくつらいことであったにちがいないと思います。そして、おそらくそのときの母の思いは、大阪へ行ってからのぼくの幸せ、健康というものを、言葉では言い表わせないくらい心に念じていてくれたように思います。ぼくが幸いにして健康に恵まれて長生きし、これまで仕事を進めてくることができたのも、やはりそうした母の切なる願い、思いの賜物であろうという気がしてならないのです」と述べている。
