1959年には民主党からハワイ州選出の連邦下院議員に立候補し当選し、アメリカ初の日系人議員となる。初登院の際、下院議長が通例通り「右手を挙手して宣誓の言葉を続けてください」と言ったが、イノウエは左手を挙げた。議事録には「右手がなかったのである。第二次世界大戦で、若き米兵として戦場で失くしたのだ。その瞬間、議会内に漂っていた偏見が消え去ったのは、誰の目にも明らかであった」との記録がある