「変えたくない」ではなく「○○だから変えたくない」と言って頂いた方が援護しやすいかもしれません

「人を増やしたくない」の場合も「スレが落ちやすくなるから」とか「荒らされるから」とか
何かしら希望を説明して頂けるとそれらを損なわないような落とし所を模索しやすいかもしれませんね