幻觉自我博弈：通过进化生成器引导强化检测器
识别LLM输出中的忠实度幻觉因高质量标注数据稀缺而具有挑战性。本文提出幻觉自我博弈（HSP）框架，使检测器能够与进化生成器共同提升。HSP从同一基础模型初始化检测器和生成器，检测器先通过人工标注数据微调，再作为奖励模型通过RLAIF训练生成器产生更难检测的幻觉，随后生成器合成幻觉数据通过规则强化学习优化检测器。在RAGTruth基准和两个模型家族上的实验表明，该框架能逐步增强小型LLM，使其无需外部监督即可匹配甚至超越先进LLM。
大型语言模型（LLM）在生成文本时常常出现忠实度幻觉，即输出与事实或上下文不符的内容。准确识别这些幻觉对于确保LLM的可靠性至关重要，然而高质量的标注数据十分稀缺，这限制了传统监督学习方法的有效性。传统的做法依赖于使用更先进的LLM来合成训练数据，包括推理过程、标签和幻觉内容，但这些方法将生成器视为静态组件，无法实现检测器的迭代改进。
为了突破这一瓶颈，由Shiping Yang等人领导的研究团队提出了幻觉自我博弈（Hallucination Self-Play, HSP）框架，该研究已被2026年计算语言学会议（COLM 2026）接收。HSP的核心思想是让一个检测器和一个生成器从同一基础模型开始，通过相互对抗不断进化。具体而言，检测器首先在人工标注的忠实度数据上进行微调，初步具备辨别幻觉的能力。随后，该检测器被用作奖励模型，通过从AI反馈中强化学习（RLAIF）来训练生成器，使其产生越来越逼真、难以被检测到的幻觉响应。反过来，进化后的生成器生成的幻觉数据被用来进一步训练检测器，这一阶段采用基于规则的强化学习方法，无需人工标注。这种自我博弈的过程使得检测器和生成器能够协同提升，形成一个良性循环。
实验基于RAGTruth基准测试和两个不同的模型家族（包括小型LLM）进行。结果表明，HSP框架能够逐步增强一个小型LLM，使其在幻觉检测任务上达到甚至超越GPT-4等先进大型模型的水平，且整个过程无需外部监督。作者表示，HSP框架通过自举方式实现了检测与生成能力的协同提升，为LLM可靠性研究提供了新思路。相关代码已在匿名仓库公开，可供研究者复现和进一步改进。这一工作有望推动更可靠的LLM应用，特别是在对事实准确性要求较高的场景中，例如问答系统、内容生成和知识检索等。