離党しても誰も付いていかないと自派閥の人間に言われるくらい人望ないからな