为什么LLM会在结构化知识上产生幻觉：线性化表示推理的机制分析
一项新研究揭示了大型语言模型（LLM）在处理结构化知识（如图和表格）时产生幻觉的机制。研究发现，幻觉源于系统性的内部动态，而非随机噪声：注意力过度集中于类似捷径的结构线索，而前馈表示无法将知识接地，导致模型退回到参数记忆。这些模式在不同结构化知识格式中普遍存在，可用于幻觉检测。
文章情报
要点
- LLM在结构化知识推理中的幻觉源于注意力偏向结构线索和前馈层接地失败等系统性内部动态。
- 幻觉与前馈层中语义接地失败一致相关，而注意力分配则具有任务依赖性。
- 这些机制模式跨单跳、多跳和表格设置通用，为幻觉检测提供了新方法。
为什么重要
这条新闻值得关注，因为LLM在结构化知识推理中的幻觉源于注意力偏向结构线索和前馈层接地失败等系统性内部动态。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
大型语言模型（LLM）在涉及结构化外部知识（如知识图谱和表格）的推理任务中常常产生幻觉，即使相关知识充分可用。这一现象背后的机制长期未明。近日，一篇即将发表在ACL 2026上的论文《Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations》对此进行了深入探究。
研究团队通过系统性实验发现，LLM在结构化知识上的幻觉并非随机错误，而是由模型内部的系统性动态导致。首先，注意力机制会不成比例地集中在类似捷径的结构性线索上，而非均匀分布在整个上下文。这导致模型忽略了关键信息。其次，前馈层的表示无法有效接地所提供的外部知识，迫使模型依赖其内部参数记忆，从而产生与事实不符的输出。
值得注意的是，即使任务简单（如单跳图查询），这些机制同样生效，且在不同复杂度（多跳图、表格）的设置中表现出普遍性。这一发现意味着幻觉检测可以基于这些内部模式进行，而不必依赖外部验证。
研究还指出，注意力分配的模式在不同任务间存在较大差异，而前馈层的接地失败则是幻觉的稳定预测指标。这一洞察有助于开发更可靠的LLM推理系统，尤其是在金融、医疗等需要结构化知识的高风险领域。
该论文由Shanghao Li等八位作者共同完成，提交于2026年5月25日，并将在ACL 2026会议上发表。其提供的机制性理解不仅加深了我们对LLM内部工作原理的认识，也为缓解幻觉问题指明了新方向。