大型語言模型（LLM）在涉及結構化外部知識（如知識圖譜和表格）的推理任務中常常產生幻覺，即使相關知識充分可用。這一現象背後的機制長期未明。近日，一篇即將發表在ACL 2026上的論文《Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations》對此進行了深入探究。
研究團隊通過系統性實驗發現，LLM在結構化知識上的幻覺並非隨機錯誤，而是由模型內部的系統性動態導致。首先，注意力機制會不成比例地集中在類似捷徑的結構性線索上，而非均勻分佈在整個上下文。這導致模型忽略了關鍵信息。其次，前饋層的表示無法有效接地所提供的外部知識，迫使模型依賴其內部參數記憶，從而產生與事實不符的輸出。
值得注意的是，即使任務簡單（如單跳圖查詢），這些機制同樣生效，且在不同複雜度（多跳圖、表格）的設置中表現出普遍性。這一發現意味着幻覺檢測可以基於這些內部模式進行，而不必依賴外部驗證。
研究還指出，注意力分配的模式在不同任務間存在較大差異，而前饋層的接地失敗則是幻覺的穩定預測指標。這一洞察有助於開發更可靠的LLM推理系統，尤其是在金融、醫療等需要結構化知識的高風險領域。
該論文由Shanghao Li等八位作者共同完成，提交於2026年5月25日，並將在ACL 2026會議上發表。其提供的機制性理解不僅加深了我們對LLM內部工作原理的認識，也為緩解幻覺問題指明瞭新方向。