ツール利用を伴う大規模言語モデル（LLM）エージェントは、まったく同じ状態から独立に複数回実行した場合でも、呼び出すツールが異なったり、矛盾する出力を出したり、異なる戦略を取ったりと、一貫性のない振る舞いを示すことがある。このばらつきは時間の経過とともに累積し、実運用における信頼性を損なう大きな要因となる。したがって、エージェントの振る舞いの安定性をいかに評価し、抑制するかは、信頼できるエージェントシステムを構築するうえで重要な課題である。
既存の評価指標はこの問題に十分に対応できていない。主流の指標はタスクの正解率、すなわち「タスクを正しく完了できたか」を測るものが中心で、実行間の振る舞いの一貫性は捉えられない。一方、振る舞いの分析では、トークンレベルの確率分布を見る方法や、単一応答レベルで意味的クラスタリングを行う方法が用いられてきたが、いずれも不一致が軌道の後続ターンへどのように伝播・増幅するかを捉えることはできない。
この空白に対し、論文はRecursive Semantic Divergence（RSD）を提案する。これは強化学習における双模倣（bisimulation）指標から着想を得た、教師なしの軌道レベル一貫性指標である。RSDは、同一エージェントが同一状態から独立に2回ロールアウトした際の、意味的な不一致の累積期待値を測定する。判定には自然言語推論（NLI）を用い、単なる表層的な類似度ではなく、論理的な矛盾の有無を検出する点が特徴である。
RSDは未来の状態に対して再帰的に定義される。すなわち、現在の状態におけるダイバージェンスは、その時点の出力の違いだけでなく、そこから先の未来の各ステップでどれだけ不一致が生じ得るかに依存する。計算可能にするため、著者らは独立したロールアウトから得たデータでニューラルネットワークを訓練し、この指標を近似する。学習された指標は、軌道全体を最後まで実行しなくても、各ターンにおいて現在の状態の一貫性スコアを提示し、将来のダイバージェンスを予測できるため、オンライン評価や訓練時のフィードバックに実用的に活用できる。
応用面では、RSDをファインチューニング時の報酬信号として直接用いることができる。実験では、tau2-benchにおいてタスク進捗の変動が132%から91%に、toolsandboxにおいては90%から44%へと大幅に低減した。同時に、複数のベンチマークとモデル規模において性能が向上しており、一貫性への報酬がタスク性能を犠牲にするものではないことを示している。
さらに論文は、RSDを追加の報酬信号として訓練することで、正解ラベル（ground-truth）を必要とせずに、教師ありファインチューニングに匹敵する性能をより小さな分散で達成できると指摘する。これは、高品質なラベルの入手が困難あるいは高コストな場面において特に有用であり、エージェントの自己改善やアラインメントに向けた新たな教師なしのアプローチを提供する。
本論文はHarshavardhan Abichandaniらによるもので、NeurIPS 2026の会議論文として採択され、ソースコードはリポジトリで公開されている。2026年10月8日にarXiv（arXiv:2610.33012）へ投稿され、計算と言語（cs.CL）に分類されつつ、人工知能（cs.AI）および機械学習（cs.LG）にも関連する。