1840年、武蔵国榛沢郡（埼玉県深谷市）の渋沢家に長男として生まれる。渋沢家は、藍玉（染料）の製造販売や養蚕、米、麦、野菜の生産も手がける豪農。
14歳から単身で藍葉の仕入れにも出かけるようになり、この時の経験が、後にヨーロッパの経済システムを吸収しやすくする素地を作り出した。

1858年、19歳で結婚。1861年に江戸に出て儒学者、海保漁村の門下生となる。また、北辰一刀流、千葉栄次郎の道場に入門。剣術修行のかたわら勤皇志士と交友を結ぶ。
やがて尊皇攘夷の思想に目覚め、1863年、高崎城を乗っ取って武器を奪い、横浜を焼き討ちにしたのち長州と連携して幕府を倒すという計画をたてる。しかし、親族の説得により中止。