通过验证器与生成器对齐改进大语言模型
本文提出了一种新方法（FCPA），通过频率校正的生成器-验证器一致性训练，显著提升大语言模型的一致性和性能。
大语言模型（LLM）在实际应用中表现出显著的不一致性：即使微调提示词或包含无关信息，也可能导致模型输出发生意外变化。这种不一致性的一个典型体现是生成器-验证器（G-V）差距：LLM生成的响应在重新查询验证时，往往被其自身判定为无效。这一现象严重影响了模型在需要可靠性和自洽性场景中的应用。
来自研究团队（Juan Diego Rodriguez等）的最新研究，在2026年7月提交的arXiv论文中，提出了一种新颖的G-V一致性公式，该公式引入了基于语频的原则性校正。核心洞察在于，生成器常常因为有效字符串的先验概率较低而赋予其低似然值，这使得朴素的G-V一致性概念难以直接应用。研究人员证明，在理性代理回答多答案问题的自然模型框架下，验证器与频率校正后的生成器评分之间的一致性可以自然涌现。基于这一理论，他们开发了FCPA（频率校正的生成器-验证器对齐）训练目标，旨在为实际LLM实现频率校正的G-V一致性。
实验结果表明，相较于先前方法，采用FCPA训练显著提升了G-V一致性和生成器性能。在IFEval和HumanEval这两个基准测试上，Pearson相关性度量提升了高达27个百分点。更重要的是，所有评估任务中的验证器质量均得到保持，没有出现退化现象。该工作为缓解LLM的不一致性问题提供了新的思路，有望在模型选型、推理效率、产品能力及评测标准等多个维度产生积极影响。论文详细介绍了方法的设计动机、理论分析和实证验证，并公开了相关代码与数据以促进后续研究。