OpenAI、GPT-4oの「お世辞問題」の原因を説明
https://www.watch.impress.co.jp/docs/news/2011889.html
OpenAIは2日(米国時間)、AIモデル「GPT-4o」が「お世辞がすぎる」として、元のバージョンに戻した件について、「なぜこのような問題が発生したか」を発表した。新たに評価に加えたユーザーフィードバックの影響を見誤ったことなどが要因だが、ユーザー側の利用変化もロールバックの背景にあるとする。
4月25日にChatGPTにおいて、GPT-4oモデルにアップデートを適用した結果、モデルの「お世辞がすぎる・追従的・へつらい(sycophantic)」な反応を示すようになった。単なるお世辞だけでなく、疑いを肯定したり、怒りを煽る、衝動的な行動を促すといった負の感情を強化するなど問題が含まれていたとする。そのため、28日にはモデルを前のバージョンに戻すロールバックが実施された。
アップデートではユーザーフィードバックによる追加の報酬シグナル(ChatGPTからの「いいね」と「嫌い」のデータ)を導入したが、このユーザーフィードバックは、より同意しやすい応答を好む傾向があることから、へつらいの傾向が強くなったとみられる。
事前のA/Bテストでは、少数のユーザーが好意的に評価しており、内部のテストでもへつらいは明示的に指摘されなかったという。一部の専門家テスターは、モデルのトーンやスタイルの変化に懸念を示して、違和感を表明していたものの、へつらいに関する具体的な評価は行なっていなかった。
