介入的グラウンディング監査：述語置換によるLLMチェーン・オブ・ソートのブラックボックス前提依存性テスト
大規模言語モデルは論理的に見えるチェーン・オブ・ソート推論を生成するが、その前提に実際に依存しているとは限らない。本論文では、単一の前提の述語を新しい記号に置き換え、各推論ステップの正規化された結論が変化するかどうかを確認することで、前提依存性をステップレベルでテストするブラックボックス手法「介入的グラウンディング監査」を提案する。ProntoQAベンチマークで評価した結果、証明木依存性の検出においてF1=0.806を達成し、自己一貫性ベースライン（F1=0.343）を大幅に上回った。さらに、正しく解決された問題の66%で、直接の証明木依存性に影響されないステップが少なくとも1つ存在し、「正解だが誤った推論」という信号が明らかになった。
大規模言語モデル（LLM）が生成するチェーン・オブ・ソート（CoT）推論は、一見論理的に首尾一貫しているように見えるものの、その推論が実際に提示された前提に依存しているかどうかは不明確である。Hironao Nakamura氏がarXivに提出した本研究では、介入的グラウンディング監査（Interventional Grounding Audits）と呼ぶ新しい手法を提案する。これは、ブラックボックスでステップレベルの前提依存性をテストする手法であり、単一の前提内のターゲット述語を新しい記号に置き換え、モデルを再実行し、各推論ステップの正規化された結論（標準形の述語形式）が変化するかどうかを確認する。
研究チームは、合成多ホップ演繹推論ベンチマークであるProntoQAを用いて評価を行った。ProntoQAは完全な証明木を提供し、ステップレベルの前提依存性が既知である。GPT-4oを用いて50問のProntoQA問題を処理した結果、本手法は証明木依存性の検出においてF1=0.806を達成し（述語決定依存性ではF1=0.885、再現率100%）、自己一貫性ベースライン（F1=0.343）を統計的に有意に上回った（95%ブートストラップ信頼区間は重複なし）。
さらに興味深いことに、正しく解決された問題の66%において、少なくとも1つのアラインメント済みステップが直接の証明木依存性に対して鈍感であることが判明した。つまり、一貫した置換の下でそのステップの結論が変化しなかった。これらのケースはすべてエンティティ導入前提に関連しており、これは一貫置換評価器の既知の盲点である。この現象は「正解だが誤った推論」という信号を明らかにしており、受動的な手法では検出不可能である。
研究者らは、介入的グラウンディング監査が、表面上は正しいが推論に欠陥があるケースを特定する強力なツールであると強調している。すべての監査証明、生の出力、再現スクリプトは公開GitHubリポジトリで入手可能である。また、本論文では、形式的で解析可能なベンチマークを超えた範囲での手法の限界についても議論しており、現時点では構造化された推論タスクに主に適用可能であるとしている。本研究はICLR 2026の大規模言語モデルの論理的推論に関するワークショップに採択されている。