署名用なんだから、誰かが外務省になりすまして、公開鍵と偽造パスポートを作ることを懸念すべきだろ。
公開鍵は正規の配布ルートを作り、いつでも誰でも参照できるようにすべき。