不倫までしたのに、さっさと離婚できなかった理由は何?