遺産が目当てじゃないなら相続権を放棄すればいい
それができないなら世間から疑われても仕方ないね