幻覺自我博弈：通過進化生成器引導強化檢測器
識別LLM輸出中的忠實度幻覺因高質量標註數據稀缺而具有挑戰性。本文提出幻覺自我博弈（HSP）框架，使檢測器能夠與進化生成器共同提升。HSP從同一基礎模型初始化檢測器和生成器，檢測器先通過人工標註數據微調，再作為獎勵模型通過RLAIF訓練生成器產生更難檢測的幻覺，隨後生成器合成幻覺數據通過規則強化學習優化檢測器。在RAGTruth基準和兩個模型家族上的實驗表明，該框架能逐步增強小型LLM，使其無需外部監督即可匹配甚至超越先進LLM。
大型語言模型（LLM）在生成文本時常常出現忠實度幻覺，即輸出與事實或上下文不符的內容。準確識別這些幻覺對於確保LLM的可靠性至關重要，然而高質量的標註數據十分稀缺，這限制了傳統監督學習方法的有效性。傳統的做法依賴於使用更先進的LLM來合成訓練數據，包括推理過程、標籤和幻覺內容，但這些方法將生成器視為靜態組件，無法實現檢測器的迭代改進。
為了突破這一瓶頸，由Shiping Yang等人領導的研究團隊提出了幻覺自我博弈（Hallucination Self-Play, HSP）框架，該研究已被2026年計算語言學會議（COLM 2026）接收。HSP的核心思想是讓一個檢測器和一個生成器從同一基礎模型開始，通過相互對抗不斷進化。具體而言，檢測器首先在人工標註的忠實度數據上進行微調，初步具備辨別幻覺的能力。隨後，該檢測器被用作獎勵模型，通過從AI反饋中強化學習（RLAIF）來訓練生成器，使其產生越來越逼真、難以被檢測到的幻覺響應。反過來，進化後的生成器生成的幻覺數據被用來進一步訓練檢測器，這一階段採用基於規則的強化學習方法，無需人工標註。這種自我博弈的過程使得檢測器和生成器能夠協同提升，形成一個良性循環。
實驗基於RAGTruth基準測試和兩個不同的模型家族（包括小型LLM）進行。結果表明，HSP框架能夠逐步增強一個小型LLM，使其在幻覺檢測任務上達到甚至超越GPT-4等先進大型模型的水平，且整個過程無需外部監督。作者表示，HSP框架通過自舉方式實現了檢測與生成能力的協同提升，為LLM可靠性研究提供了新思路。相關代碼已在匿名倉庫公開，可供研究者復現和進一步改進。這一工作有望推動更可靠的LLM應用，特別是在對事實準確性要求較高的場景中，例如問答系統、內容生成和知識檢索等。