「身長気にするのモテない奴だけや」
って文脈的に「自分の」身長を指してるだろう
これに対しお前だって人の身長に触れてたじゃん！は悲しいが反論になってないと思います