>食事したっていう事実にしかならない
>たったそれだけで相手を勘違いさせると言われたら

いや、自分がどう思おうが、客観的にみてどう思われるかが全てでしょ。
逆に男が女を誘うケースで考えて、上司(男)が部下(女)と喫茶店で打合せ、問題ゼロ。
だが、2人きりで食事しながら、と誘ったらアウト。パワハラ、セクハラの疑い有りとなる。
男女2人きりで食事って、それくらいハードルがある事。
女が良いと言ってるケースでは「たかが食事」になるとかそんな理屈通らないよ。

何もできない!と言ってるけど、食事したりアルコールを口にする必要は無い。
そこにこだわるのは、結局のところ思わせぶりな言動で性を武器にしてる自覚があるからじゃ?