幻覚セルフプレイ：進化する生成器による強化学習型検出器のブートストラップ
LLM出力における忠実度幻覚の識別は、高品質なアノテーションデータの不足により困難である。本論文では、検出器と生成器が相互にブートストラップするフレームワーク「幻覚セルフプレイ（HSP）」を提案する。検出器は人間ラベルデータで微調整され、その後RLAIFによる生成器の訓練ための報酬モデルとして使用され、より検出困難な幻覚を生成する。進化した生成器の出力は、ルールベース強化学習により検出器をさらに最適化する。RAGTruthベンチマークと2つのモデルファミリーでの実験により、小型LLMが外部教師なしで高度なLLMに匹敵または凌駕できることが示された。
大規模言語モデル（LLM）はテキスト生成時に忠実度幻覚、すなわち事実や文脈と一致しない出力をしばしば生じます。こうした幻覚を正確に識別することはLLMの信頼性確保に不可欠ですが、高品質なアノテーションデータが不足しており、従来の教師あり学習の効果は限られています。従来の手法では、より高度なLLMを用いて訓練データ（推論過程、ラベル、幻覚内容）を合成していましたが、生成器を静的なコンポーネントと見なしていたため、検出器の反復的な改善が制限されていました。
この課題に対し、Shiping Yang氏ら研究チームは幻覚セルフプレイ（Hallucination Self-Play, HSP）フレームワークを提案し、2026年の計算言語学会議（COLM 2026）で発表されました。HSPの核心は、同一のベースモデルから初期化された検出器と生成器が相互に進化する点にあります。まず検出器を人間がラベル付けした忠実度データで微調整し、幻覚を識別する初期能力を獲得させます。次に、この検出器を報酬モデルとして利用し、AIフィードバックからの強化学習（RLAIF）により生成器を訓練します。生成器は検出器を欺くような、より自然な幻覚を生成するようになります。さらに、進化した生成器が生成した幻覚データを用いて、今度はルールベースの強化学習により検出器を再訓練します。このプロセスは人手を介さずに繰り返され、検出器と生成器の能力が螺旋的に向上します。
実験はRAGTruthベンチマークと2つの異なるモデルファミリー（小型LLMを含む）で実施されました。結果、HSPフレームワークは小型LLMを段階的に強化し、幻覚検出タスクにおいてGPT-4などの先進的な大規模モデルに匹敵する、あるいは凌ぐ性能を達成しました。著者らは、HSPが検出と生成の能力を共進化させる自己充足的フレームワークであり、LLMの信頼性研究に新たな道を開くと述べています。コードは匿名リポジトリで公開されており、研究者による再現やさらなる改良が可能です。この研究は、特に事実精度が求められる質問応答システムやコンテンツ生成、知識検索などの分野において、より信頼性の高いLLM応用を推進するものと期待されます。