即使大型语言模型（LLMs）能够获取足够的外部结构化知识，例如图或表，它们仍然会产生看似合理的幻觉输出。一篇即将发表于ACL 2026的论文《Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations》深入探究了这一现象背后的机制。该研究由Shanghao Li等八位作者完成，并在arXiv上公开（arXiv:2605.26362）。
早期观点常将幻觉归因于随机噪声或数据不足，但本研究发现，这种失败实际上源于模型内部系统性的动态过程。具体而言，作者识别出两个关键机制。第一，模型的注意力分布存在偏差：它过度集中于类似“捷径”的结构线索，而非均匀地将注意力分配到完整的上下文中。这意味着模型可能只抓住了输入中的局部特征，而忽略了其他同样重要的信息。第二，前馈网络（feed-forward）的表示未能将提供的知识进行语义接地（grounding），导致模型转而依赖其参数化记忆，从而产生与事实不符的输出。
研究进一步揭示，幻觉与前馈层中的语义接地失败之间存在稳定的一致性关联，而注意力分配则表现出更大的任务依赖性变化。换句话说，无论具体任务如何，只要前馈层无法正确锚定外部知识，模型就倾向于产生幻觉；而注意力模式可能因任务而异，并非幻觉的可靠预测指标。
为了验证这些机制的普适性，作者将分析扩展到多跳图（multi-hop graphs）和表格（tabular）等更复杂的结构化知识格式。结果显示，上述机制模式——注意力偏向捷径和前馈接地失败——在这些场景中同样成立。这为跨格式的幻觉检测提供了理论基础。基于这些发现，研究者有望开发出更有效的检测方法，通过监控前馈层的接地状态来提前预警幻觉。
该论文的提交时间为2026年5月25日，属于计算与语言（cs.CL）领域，同时涉及人工智能（cs.AI）。这项研究不仅加深了我们对LLMs推理过程的理解，也为提升模型在结构化知识任务中的可靠性指明了方向。