弥太郎は、どうも運動神経がなかったとみえて学問を志しました。
20歳の頃、藩士奥宮ぞう斎の従者となって江戸へ行く機会を得ました。
弥太郎はぞう斎の供をして日本一の大都市江戸へ赴きました。
安政2年(1855)のことでした。
江戸で高名な安積艮斎の門へ入りました。
けれど入門して間もなく、郷里から急報が届きます。
父が入獄したというのです。
驚いた弥太郎は、師に別れを告げて土佐へ旅立つことになりました。
弥太郎は、不眠不休で東海道五十三次を踏破。
そして土佐の井ノロ村まで300余里を17日間で歩いて実家へ戻りましたが、母の話によると、庄屋に憎まれていた父は庄屋宅の宴席で袋叩きにあって帰ってきたといいます。
そこで口惜しさのあまり郡役所へ訴え出ると、庄屋が手を回していたとみえて、反対に弥次郎は牢へ入れられてしまいました。
弥太郎は翌日から郡役所へ出かけていって抗議します。
すると役人を誹誘したといって、父のかわりに今度は弥太郎が入牢させられてしまいました。
獄中で正月を過ごした弥太郎は、出牢後、高知城の郊外で寺子屋を開きました。
その頃、藩の執政だった吉田東洋が酒癖の悪い藩主の一族をたしなめたことから、役を退いて、少様塾を開いていました。
この吉田の塾に学んでいたのが後藤象二郎で、弥太郎は、後藤の論文の代筆をして東洋に近づきました。