飽和トラップと介入タイミングの主観性：感情ベースのトリガーとLLM判定者が自律エージェントへの介入タイミングを失敗する理由

自律AIエージェントが対話型チャットボットから長期ソフトウェア実行が可能なシステムへと進化するにつれて、エージェントにいつ介入するかを決定するランタイム安全層が重要な役割を担うようになった。Manvendra Modgilが2026年6月2日にarXivに投稿した新しい論文（番号2606.04296）は、この問題に正面から取り組んでいる。研究では、18次元の連続感情ダイナミクスエンジンHEARTを診断プローブとして使用し、SWE-bench-Verifiedデバッグ軌跡上で4つの介入トリガーファミリー（絶対状態閾値、複合状態行動パターン、正規表現推論特徴抽出、ゼロショットLLM判定）を評価した。結果は、最適な介入タイミングの決定における根本的な課題を明らかにしている。

最初の主要な発見は「状態飽和トラップ」である。持続的な困難下でエージェントは回復信号を示さず、モデル化されたフラストレーションが急速に閾値を超えて最大値に留まる。これにより、状態閾値ベースのトリガーは瞬間検出器からほぼ一定の指標に変わり、5つの軌跡でアクションの39%から83%で発動する。著者らは、この飽和効果は回復信号の欠如に起因し、異なる軌跡間で一貫して観察されると指摘している。

第二に、研究はLLM判定者アプローチを探求した。小型モデル（GPT-5.4-mini）は一度も発動せず、最先端およびクロスベンダーモデルは完全な軌跡コンテキストが提供された場合にのみゼロ発動下限を脱する。それでも、F1スコアは0.17から0.40で、コストは単純なトリガーの最大90倍に達する。この発見は、LLM判定者の能力とコンテキストの二重の下限を浮き彫りにしている。小型モデルは全く機能せず、高性能モデルもグローバルコンテキストを得て初めて中程度の性能に達する。

三つ目で最も顕著な発見は、人間のアノテーター間の一致に関するものである。厳格な訓練を受けた3人のアノテーターが同一のルーブリックを使用して56アクションの軌跡を評価したところ、介入位置の一致は偶然をわずかに上回る程度であった（Krippendorff's alpha = 0.047；最良のペアワイズCohen's kappa = 0.349）。介入タイプ（一時停止、明確化、内省）の一致はさらに悪く、「明確化」と「内省」カテゴリでは偶然以下であった。これは、介入タイミング自体が信頼性の低い構成概念であり、単一アノテーターのF1スコアを最適化目標とすることは不適切であることを示唆している。

著者らは、この研究の主な貢献は、単一の検出器の精度ではなく、人間の評価者間信頼性、4つの検出器アーキテクチャ、クロスモデルLLM判定スイープ、再現された飽和効果にわたる問題の共同マッピングにあると結論付けている。論文は11ページ、5つの表からなり、コードとデータは公開されている。この研究は、将来の自律エージェントの安全性研究に重要なベンチマークと方法論的洞察を提供する。