饱和陷阱与干预时机的主观性：为何基于情感的触发器和大语言模型法官无法为自主智能体确定干预时机

随着自主AI智能体从对话式聊天机器人演变为能够执行扩展软件任务的系统，运行时安全层——决定何时中断智能体的决策模块——变得至关重要。Manvendra Modgil于2026年6月2日在arXiv上发表的一篇新论文（编号2606.04296）直面这一问题。该研究采用HEART（一个18维情感动力学引擎）作为诊断探针，在SWE-bench-Verified调试轨迹上评估了四类干预触发器：绝对状态阈值、复合状态-动作模式、正则表达式推理特征提取以及零样本LLM作为判断器。研究结果揭示了确定最佳干预时机所面临的根本性挑战。

第一个主要发现是所谓的“状态饱和陷阱”。在持续困难情境下，智能体表现出无法恢复的信号，导致模型模拟的挫败感迅速越过预设阈值并保持在最大值。这使得基于状态阈值的触发器从原本用于检测关键时刻的瞬间探测器，转变为近乎恒常的指示器。在五个测试轨迹中，这些触发器在39%到83%的动作中被触发，使得它们在捕捉实际需要干预的时刻时基本失效。作者指出，这种饱和效应是由于缺乏恢复信号导致的，并且在不同轨迹中一致出现。

其次，该研究探索了LLM作为判断器的方法。一个小型模型（GPT-5.4-mini）从未触发任何干预，而前沿和跨供应商模型只有在提供完整轨迹上下文时才能摆脱零触发下限。即使如此，这些LLM判断器的F1分数也仅为0.17到0.40，而计算成本则是更简单触发器的90倍。这一发现凸显了LLM判断器在能力和上下文方面的双重下限：小型模型完全无法工作，而高性能模型也只有在获得全局上下文时才能达到中等水平的性能。

第三个或许也是最引人注目的发现，涉及人类标注者之间的一致性。三名经过严格训练的标注者使用同一评分标准，对一条包含56个动作的轨迹进行标注。结果发现，他们在干预位置上的一致性仅略高于随机水平（Krippendorff's alpha = 0.047；最佳配对Cohen's kappa = 0.349）。而在干预类型（如暂停、澄清、反思）上的一致性更差，其中“澄清”和“反思”类别的信度甚至低于随机水平。这表明干预时机本身是一个低信度的构念，使得基于单一标注者判断的F1分数作为优化目标缺乏合理性。

作者总结道，这项工作的主要贡献不在于提出任何单一检测器的高精度，而在于对问题进行联合映射：跨越人类评分者间信度、四种检测器架构、跨模型LLM判断器扫描以及复现的饱和效应。论文共11页，包含5张表格，代码和数据已全部公开。该研究为未来自主智能体安全研究提供了重要的基准和方法论启示。