LLMの自己振り返りを駆動するものは何か？武力紛争予測における不確実性ルーティングの統制されたアブレーション研究

大規模言語モデル（LLM）の自己振り返りは推論を改善すると広く考えられているが、どの構成要素が実際に効果をもたらすのかは十分に理解されていなかった。本論文は武力紛争予測タスクを用いた統制された6条件のアブレーション実験を実施し、自己振り返りを「エビデンスへの曝露」「診断的足場」「分類語彙」「アクションルーティング」の4要素に分解した。その結果、改善をもたらすのは型付きアクションルーティングであり、診断的な質問項目や不確実性の分類語彙ではないことが示された。

実験ではまず、2つの明確な帰無結果が得られた。第一に、構造化された診断質問は非構造化の振り返りに対して有意な追加価値を示さなかった（F1 0.296 vs 0.297、p=1.000、95% CI [-0.041, +0.040]）。第二に、完全な不確実性分類語彙を提示しても、アクション空間を単一の汎用アクションに潰した場合の改善はΔF1 = +0.008に過ぎず、95%信頼区間はベースラインと重なった。これにより、分類語彙が効果の主因であるという仮説は否定された。

一方、型付きアクションルーティングは一貫した方向の改善を示し、F1は0.296から0.379へ上昇した。分類語彙の影響を統制した保守的な推定ではΔF1 = +0.075、単発ベースラインに対する全体の改善はΔF1 = +0.101（ブートストラップ95% CI [+0.020, +0.185]）であり、統計的に有意だった。この語彙とルーティングの分離はGPT-4oでも再現され、分類語彙は有意でなく（p=0.773）、アクションルーティングは有意な改善を示した（p=0.025）。このことから、このメカニズムはモデル基盤が変わっても成り立つ。

改善は特に構造的に新しい紛争事例に集中した。ミャンマーではF1が0.000から0.353へ、ウクライナでは0.167から0.500へ向上した。語彙のみの条件では汎用的な振り返り以上の回復は見られず、アクションルーティングだけが退化した事前分布を打ち破った。著者らは、診断的足場や分類語彙ではなく型付きアクションルーティングが、メタ認知的LLM予測エージェントの有望な設計原理であると結論付け、多様な紛争類型を対象とした大規模評価の必要性を強調している。