LLMが構造化知識に対して幻覚を起こす理由：線形化表現における推論のメカニズム分析
新しい研究により、大規模言語モデル（LLM）がグラフやテーブルなどの構造化知識を扱う際に幻覚を起こすメカニズムが明らかになりました。幻覚はランダムノイズではなく、系統的な内部ダイナミクスに起因します。注意がショートカット的な構造的手がかりに集中し、フィードフォワード表現が知識を接地できず、パラメトリックメモリに退行するためです。これらのパターンはさまざまな構造化知識形式に一般化され、幻覚検出に有効です。
記事インテリジェンス
要点
- LLMの構造化知識における幻覚は、注意の構造的手がかりへの偏りやフィードフォワード層の接地失敗などの系統的内部ダイナミクスから生じる。
- 幻覚はフィードフォワード層の意味接地の失敗と一貫して関連し、注意配分はタスク依存の変動を示す。
- このメカニズムパターンはシングルホップ、マルチホップ、テーブル設定に一般化され、幻覚検出の新たな方法を提供する。
重要な理由
このニュースが重要なのは、LLMの構造化知識における幻覚は、注意の構造的手がかりへの偏りやフィードフォワード層の接地失敗などの系統的内部ダイナミクスから生じるためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
大規模言語モデル（LLM）は、知識グラフやテーブルなどの構造化された外部知識を利用した推論タスクにおいて、十分な知識が利用可能であっても幻覚を生成することがあります。この現象の背後にあるメカニズムは長らく理解されていませんでした。ACL 2026に採択された論文「Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations」は、この問題にメカニズム的な洞察を提供します。
研究チームは系統的な実験を通じて、LLMの幻覚がランダムノイズではなく、モデル内部の体系的なダイナミクスに起因することを発見しました。第一に、注意メカニズムがコンテキスト全体に均等に分散するのではなく、ショートカットのような構造的手がかりに不均衡に集中します。第二に、フィードフォワード層の表現が提供された知識を適切に接地できず、モデルが内部のパラメトリックメモリに依存するようになります。これにより、事実と一致しない出力が生成されます。
さらに、これらのパターンはシングルホップグラフだけでなく、マルチホップグラフやテーブル形式にも一般化されることが示されました。つまり、幻覚検出は外部検証に頼らずとも、これらの内部パターンに基づいて行える可能性があります。研究では、注意配分のパターンはタスクによって大きく異なる一方、フィードフォワード層の接地失敗は幻覚の安定した予測指標であることも明らかになりました。
この発見は、金融や医療など構造化知識が重要な分野において、より信頼性の高いLLM推論システムの開発に貢献すると期待されます。論文はShanghao Liら8名の著者により執筆され、2026年5月25日に提出、ACL 2026で発表予定です。