世界各地の神話や民話･言い伝えには「神の世界」「死後の世界」「理想郷」「ここではないどこか」ってのがいくらでもある。
つまり「異世界」の下地はすでにあるわけで、すでに「もしそこに迷い込んだなどうなる？」って酒飲み話や世間話はあったはず。

あとは生活に余裕ができてきて、それを記録したり配布したり商業化し始めるのがいつになるのか、ってだけで起源を求め始めたらそう最近の話でもなくなるｗ