大蔵官僚として、度量衡の制定や国立銀行条例制定に携わる。しかし、予算編成を巡って、大久保利通や大隈重信と対立し、1873年に井上馨と共に退官。
退官後、官僚時代に設立を指導していた第一国立銀行（第一銀行、第一勧業銀行を経て、みずほ銀行）の頭取に就任する。

以後、東京海上火災保険、王子製紙、東急電鉄、秩父セメント、帝国ホテル、東京証券取引所、キリンビール、東洋紡績など、多種多様の企業の設立に関わり、その数は500以上といわれている。
しかし、他の財閥創始者と異なる点は、渋沢財閥を作らなかったこと。「私利を追わず公益を図る」との考えを、生涯に亘って貫き通し、後継者にもこれを固く戒めた。

社会活動に熱心で、養育院の院長を務めたほか、東京慈恵会、日本赤十字社などの設立にも携わった。商業教育にも力を入れ、一橋大学、東京経済大学の設立に協力したほか、女子の教育の必要性を考え、
伊藤博文、勝海舟らと女子教育奨励会を設立。日本女子大学、東京女学館の設立に携わった。