友人に置き換えるとわかりやすいよ

「どんなに仲が良くても感情のすれ違いはある」
「人付き合いにはお金がかかる」
「わざわざわずらわしい人間関係を築きたいとは思わない」

「だから友人はいらない」
「だから俺にとって友人を持つことは不幸」

普通の人はそれで「なるほど友を持つことは不幸かもね」なんて思わないよ
その人を人とうまくやれないかわいそうな人と思うだけで