飽和陷阱與干預時機的主觀性：為何基於情感的觸發器和大語言模型法官無法為自主智能體確定干預時機

隨着自主AI智能體從對話式聊天機器人演變為能夠執行擴展軟件任務的系統，運行時安全層——決定何時中斷智能體的決策模塊——變得至關重要。Manvendra Modgil於2026年6月2日在arXiv上發表的一篇新論文（編號2606.04296）直面這一問題。該研究採用HEART（一個18維情感動力學引擎）作為診斷探針，在SWE-bench-Verified調試軌跡上評估了四類干預觸發器：絕對狀態閾值、複合狀態-動作模式、正則表達式推理特徵提取以及零樣本LLM作為判斷器。研究結果揭示了確定最佳干預時機所面臨的根本性挑戰。

第一個主要發現是所謂的“狀態飽和陷阱”。在持續困難情境下，智能體表現出無法恢復的信號，導致模型模擬的挫敗感迅速越過預設閾值並保持在最大值。這使得基於狀態閾值的觸發器從原本用於檢測關鍵時刻的瞬間探測器，轉變為近乎恆常的指示器。在五個測試軌跡中，這些觸發器在39%到83%的動作中被觸發，使得它們在捕捉實際需要干預的時刻時基本失效。作者指出，這種飽和效應是由於缺乏恢復信號導致的，並且在不同軌跡中一致出現。

其次，該研究探索了LLM作為判斷器的方法。一個小型模型（GPT-5.4-mini）從未觸發任何干預，而前沿和跨供應商模型只有在提供完整軌跡上下文時才能擺脱零觸發下限。即使如此，這些LLM判斷器的F1分數也僅為0.17到0.40，而計算成本則是更簡單觸發器的90倍。這一發現凸顯了LLM判斷器在能力和上下文方面的雙重下限：小型模型完全無法工作，而高性能模型也只有在獲得全局上下文時才能達到中等水平的性能。

第三個或許也是最引人注目的發現，涉及人類標註者之間的一致性。三名經過嚴格訓練的標註者使用同一評分標準，對一條包含56個動作的軌跡進行標註。結果發現，他們在干預位置上的一致性僅略高於隨機水平（Krippendorff's alpha = 0.047；最佳配對Cohen's kappa = 0.349）。而在干預類型（如暫停、澄清、反思）上的一致性更差，其中“澄清”和“反思”類別的信度甚至低於隨機水平。這表明干預時機本身是一個低信度的構念，使得基於單一標註者判斷的F1分數作為優化目標缺乏合理性。

作者總結道，這項工作的主要貢獻不在於提出任何單一檢測器的高精度，而在於對問題進行聯合映射：跨越人類評分者間信度、四種檢測器架構、跨模型LLM判斷器掃描以及復現的飽和效應。論文共11頁，包含5張表格，代碼和數據已全部公開。該研究為未來自主智能體安全研究提供了重要的基準和方法論啓示。