そもそも、
・五郎が若林を集まりに誘ってくれている。
・五郎が「みんな若林を嫌いだと言っている」と若林に語る。

この二つも整合性がつかんだろ。

精神病んだ若林を心配した五郎が気を遣って誘ってくれていたのに、
被害妄想下にある若林が周囲との問題を起こし、
五郎が「お前がそんなんだとみんなに嫌われるぞ」ときつく怒る。

こういう流れならよくあることだと思う。