将棋の対局中に対戦相手に何か言うってのはものすごくハードルの高いことだし
それ自体がマナー違反になることもあるし
「嫌なら言えばいい」ってのは違うと思うな　
だから「やられた本人が嫌だって言ってないんだから別にいいだろ」とはならないと思いますね