為什麼LLM會在結構化知識上產生幻覺：線性化表示推理的機制分析
一項新研究揭示了大型語言模型（LLM）在處理結構化知識（如圖和表格）時產生幻覺的機制。研究發現，幻覺源於系統性的內部動態，而非隨機噪聲：注意力過度集中於類似捷徑的結構線索，而前饋表示無法將知識接地，導致模型退回到參數記憶。這些模式在不同結構化知識格式中普遍存在，可用於幻覺檢測。
文章情報
要點
- LLM在結構化知識推理中的幻覺源於注意力偏向結構線索和前饋層接地失敗等系統性內部動態。
- 幻覺與前饋層中語義接地失敗一致相關，而注意力分配則具有任務依賴性。
- 這些機制模式跨單跳、多跳和表格設置通用，為幻覺檢測提供了新方法。
為甚麼重要
這條新聞值得關注，因為LLM在結構化知識推理中的幻覺源於注意力偏向結構線索和前饋層接地失敗等系統性內部動態。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
大型語言模型（LLM）在涉及結構化外部知識（如知識圖譜和表格）的推理任務中常常產生幻覺，即使相關知識充分可用。這一現象背後的機制長期未明。近日，一篇即將發表在ACL 2026上的論文《Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations》對此進行了深入探究。
研究團隊通過系統性實驗發現，LLM在結構化知識上的幻覺並非隨機錯誤，而是由模型內部的系統性動態導致。首先，注意力機制會不成比例地集中在類似捷徑的結構性線索上，而非均勻分佈在整個上下文。這導致模型忽略了關鍵信息。其次，前饋層的表示無法有效接地所提供的外部知識，迫使模型依賴其內部參數記憶，從而產生與事實不符的輸出。
值得注意的是，即使任務簡單（如單跳圖查詢），這些機制同樣生效，且在不同複雜度（多跳圖、表格）的設置中表現出普遍性。這一發現意味着幻覺檢測可以基於這些內部模式進行，而不必依賴外部驗證。
研究還指出，注意力分配的模式在不同任務間存在較大差異，而前饋層的接地失敗則是幻覺的穩定預測指標。這一洞察有助於開發更可靠的LLM推理系統，尤其是在金融、醫療等需要結構化知識的高風險領域。
該論文由Shanghao Li等八位作者共同完成，提交於2026年5月25日，並將在ACL 2026會議上發表。其提供的機制性理解不僅加深了我們對LLM內部工作原理的認識，也為緩解幻覺問題指明瞭新方向。