ブラックボックス大規模言語モデルにおける多段階推論の失敗をステップごとの信頼度帰属で診断する

大規模言語モデル（LLM）は、数学的問題解決やマルチホップ質問応答などの客観的な答えを必要とする推論タスクにおいて、ステップごとの解法を生成することで高い性能を達成しています。しかし、多段階推論のどのステップで失敗が発生しているかを診断することは依然として困難です。信頼度推定は診断のためのシグナルを提供しますが、既存の手法は最終回答に限定されるか、モデルの内部状態（ロジットやアテンション重みなど）へのアクセスを必要とするため、クローズドソースやブラックボックスモデルには適用できません。

この課題に対処するため、研究チームはクローズドソースLLM向けのフレームワーク「Stepwise Confidence Attribution (SCA)」を提案しました。SCAの核心は、モデルが生成した推論トレース（各ステップのテキスト出力）のみに基づいて、ステップレベルの信頼度を割り当てる点にあります。このフレームワークは情報ボトルネック（IB）原理を応用しており、正解の間で共通する構造に沿ったステップには高い信頼度を与え、逸脱したステップは潜在的なエラーとしてフラグ付けします。

研究者は2つの相補的な手法を提案しています。1つ目はノンパラメトリック情報ボトルネック（NIBS）で、グラフ構造を必要とせずに推論トレース間の意味的一貫性を測定します。2つ目はグラフベース情報ボトルネック（GIBS）で、微分可能マスクを通じてサブグラフを学習し、ステップ間の論理的変動性を捉えます。NIBSは構造的な関係が明確でない推論シナリオに適しており、GIBSはステップ間の依存関係をより詳細にモデル化できます。

大規模な数学推論およびマルチホップ質問応答データセットでの実験により、SCAが低信頼度ステップを確実に識別し、それらが実際の推論エラーと強く相関することが示されました。さらに、ステップレベルの信頼度を使用してモデルの自己修正をガイドすると、回答レベルのフィードバックのみを使用した場合と比較して、修正成功率が最大13.5%向上しました。この結果は、ステップレベルの診断シグナルがLLMの推論信頼性を向上させる上で重要な価値を持つことを示しています。

本研究は国際会議ICML 2026に採択されており、説明可能なAIとブラックボックスモデル診断の分野における重要な進展を示しています。ステップ信頼度帰属フレームワークは、大規模言語モデルの推論能力を理解し改善するための新しいツールを提供し、特に内部パラメータにアクセスできない商用モデルに有用です。将来的には、この手法をプロダクションレベルのLLMシステムに統合することで、開発者が推論エラーを迅速に特定し、モデルの頑健性と信頼性を向上させることが期待されます。