犯罪をしたわけじゃなく不倫ぐらいで外野が騒ぐことが間違いだと思います。
奥様が許してくれたらいいんじゃないでしょうか。