大規模言語モデル（LLM）は、グラフや表などの構造化された外部知識を利用する推論タスクにおいて、十分な知識が与えられているにもかかわらず、しばしば幻覚を生成する。ACL 2026で発表予定の論文「Why LLMs Hallucinate on Structured Knowledge: A Mechanistic Analysis of Reasoning over Linearized Representations」は、この現象の背後にあるメカニズムを深く掘り下げている。著者はShanghao Li氏ら8名で、arXiv（arXiv:2605.26362）で公開されている。
従来、幻覚はランダムなノイズやデータ不足に起因すると考えられがちだったが、本研究はそうではないことを明らかにした。幻覚はモデル内部の系統的なダイナミクスに由来する。第一に、モデルの注意分布に偏りがあり、コンテキスト全体に均等に注意を向けるのではなく、「ショートカット」のような構造的手がかりに過度に集中する。これは、モデルが入力の局所的な特徴だけを捉え、他の重要な情報を無視している可能性を示唆する。第二に、フィードフォワードネットワークの表現が、提供された知識を意味的にグラウンディング（接地）できず、モデルがパラメトリックメモリに依存してしまう。その結果、事実と異なる出力が生まれる。
さらに研究は、幻覚とフィードフォワード層における意味的グラウンディングの失敗との間に一貫した関連があることを示している。一方、注意配分はタスクによって変動が大きく、幻覚の信頼できる予測因子ではない。つまり、タスクの種類に関わらず、前処理層が外部知識を正しくアンカーできない場合に幻覚が発生しやすい。
このメカニズムの一般性を検証するため、著者らは分析をマルチホップグラフや表形式といったより複雑な構造化知識フォーマットに拡張した。その結果、注意のショートカット偏向とフィードフォワードのグラウンディング失敗というパターンは、これらのシナリオでも同様に成立することが確認された。これは、フォーマットを超えた幻覚検出の理論的基盤を提供する。これらの知見に基づき、フィードフォワード層のグラウンディング状態を監視することで幻覚を事前に警告する、より効果的な検出手法の開発が期待される。
本論文は2026年5月25日に投稿され、計算言語学（cs.CL）と人工知能（cs.AI）に分類されている。この研究は、LLMの推論プロセスに対する理解を深めるだけでなく、構造化知識タスクにおけるモデルの信頼性向上に貢献するだろう。