大規模言語モデル（LLM）が構造化出力を生成する際、不確実性の定量化には通常、最大ソフトマックス確率（MSP）が使われる。MSPは計算コストが低いという利点があるが、実際にはキャリブレーションが不十分なことが多く、高い確率が常に正しい予測を反映するとは限らない。この問題を解決するため、モデル内部の活性化を利用する手法が提案されてきたが、従来の方法は各層の隠れ状態を静的なスナップショットとして扱い、表現が形成される動的なプロセスを無視している。
同様の最終表現でも異なる経路を経ている可能性があり、層を深くなるにつれて証拠がどのように蓄積、強化、あるいは反転するかを理解することは、最終的な確率では捉えきれない不確実性を明らかにする鍵となる。Aliai Eusebiら6名の研究者による新しい研究（arXiv:2605.22864）では、言語モデルの各層におけるMLP更新の累積軌跡から11のスケール不変な幾何学的特徴を抽出し、それらをスパース線形プローブに入力して不確実性を予測する手法を提案している。
実験は選択的棄却（モデルが自信のない場合に回答を控えるタスク）で行われ、このプローブはMSPを大幅に上回る性能を示した。その改善度はベースラインのキャリブレーション誤差に比例し、最大で21AURCポイントの向上を達成した。各特徴には閉形式の幾何学的意味があるため、プローブの係数を解析することで、エラーが深さ方向のどの層で発生するかを特定できる。例えば、ある層が早まって判断を下したり、他の層と矛盾する更新を行ったり、軌跡が最終的な正解から逸脱する様子を追跡できる。
この研究は、不確実性キャリブレーションの精度向上に加え、モデルの内部動作に関する解釈可能性を提供する点で重要である。将来的には、医療診断や自動運転など、信頼性の高い不確実性推定が不可欠な分野への応用が期待される。コードとデータは公開されており、コミュニティによる再現や拡張が可能である。