柳沢を追放しなかったのが汚点