图对齐拓扑作为接地检测的归纳偏置
大型语言模型（LLM）优化于生成分布上合理的续接，而非明确验证生成命题是否源于源文档。这一归纳偏置促进了泛化，但未编码响应是否相对于参考文本接地。现有幻觉检测方法通过检索增强、自一致性或声明验证改善事实性，但通常不直接学习对齐拓扑。本文构建参考信息与LLM输出之间的对齐二分图，并训练图神经网络（GNN）通过消息传递建模对齐结构。该方法在四个不同的幻觉和问答数据集上取得了最先进的结果，优于包括GPT-4o在内的所有比较方法。
文章情报
要点
- 大型语言模型缺乏接地验证，限制了在临床决策等高風險领域的使用。
- 现有方法不直接学习对齐拓扑结构。
- 新方法构建二分图并使用图神经网络消息传递。
- 在四个数据集上超过GPT-4o等基线模型。
为什么重要
这条新闻值得关注，因为大型语言模型缺乏接地验证，限制了在临床决策等高風險领域的使用。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
大型语言模型（LLM）在生成流畅文本方面表现卓越，但其核心优化目标并非验证生成内容是否严格源自参考文档，而是产生分布上合理的延续。这种归纳偏置使模型具备出色的泛化能力，但同时也意味着模型无法确保其输出相对于给定参考是“接地”的——即生成的事实是否真正被源文档所蕴含。这一问题在临床决策支持等对事实准确性要求极高的领域尤为突出，因为这些场景中任何幻觉都可能导致严重后果。
现有的幻觉检测方法主要依赖检索增强生成（RAG）、自一致性检查或声明级验证等技术来提升事实性，但这些方法通常不直接利用对齐拓扑——即参考文本与模型输出之间的结构关系。例如，RAG通过引入外部知识库来辅助生成，但并未显式建模生成内容与参考信息之间的对齐关系；自一致性依赖多次采样后的一致性，但无法捕捉细粒度的对齐模式。
针对这一空白，研究人员提出了一种基于图对齐拓扑的新方法。该方法首先在参考信息与LLM输出之间构建对齐二分图：图中的节点代表来自参考和输出的文本单元（如句子或短语），边则代表两者之间的对齐关系（如语义蕴含或事实匹配）。随后，训练一个图神经网络（GNN），通过消息传递机制来学习对齐结构中的模式。这种方式能够直接从拓扑中捕捉接地线索，而无需依赖外部知识或多次推理，从而更高效、更直接地检测幻觉。
在四个涵盖幻觉检测和问答任务的多样化数据集上的实验结果表明，该方法的性能达到了最先进的水平，超越了包括GPT-4o在内的所有对比模型。这一成果不仅为LLM的接地检测提供了一种全新的有效方案，也证明了将对齐拓扑作为归纳偏置在提升模型事实准确性方面的巨大潜力。未来，该方法有望被集成到高风险领域的LLM应用中，为临床决策、法律分析等场景提供更可靠的事实保障。