AI智能体正越来越多地被要求执行跨越数分钟、数小时乃至更长时间的工作。然而,目前智能体行为的默认模式是“持续行动”:不断发出工具调用、刷新页面、搜索替代方案,或以其他方式强行推动进展。论文作者指出,对于许多长时间运行的任务而言,这是一种错误的方法。这类任务更适合采用“持续关注”的策略——智能体应当监控环境,在外部事件使进展成为可能时及时察觉,然后迅速作出响应,同时在等待期间不浪费资源。为了衡量这一类任务上的进展,研究团队提出了 SentinelBench,一个面向随时间演变的监控任务的开源基准测试。
SentinelBench 包含 100 个任务,分布在 10 个合成网页环境中,涵盖电子邮件、日历、金融、职业社交和娱乐等场景。每个环境都提供一个实时网页界面,并回放一段脚本化的事件序列,从而要求智能体在状态不断变化的网页上进行导航和推理。这种设计模拟了真实世界中外部条件动态演变的情形,而不是静态的问答式任务。
该基准测试从三个维度评估智能体表现:任务完成情况、反应时间以及资源使用量,由此揭示响应速度与成本之间的权衡关系。论文报告了在三种模型和两种浏览器智能体框架(harness)下的结果,为未来的比较建立了性能基线,并展示了智能体设计选择如何能够显著影响关键指标。作者表示,这些结果表明 SentinelBench 能够区分智能体行为上有意义的差异。
该论文由 Matheus Kunzler Maldaner 及另外七位作者共同完成,于 2026 年 6 月 3 日提交,属于 arXiv 人工智能(cs.AI)分类,ACM 分类为 I.2。论文共 18 页、16 幅图,提交历史显示 v1 版本于 2026 年 6 月 3 日 18:32:00 UTC 发布,文件大小为 13,778 KB,提交人为 Amanda Swearngin。论文提供 PDF、实验性 HTML 以及 TeX 源码等全文链接,DOI 为 https://doi.org/10.48550/arXiv.2606.05342,arXiv 颁发的 DOI 正通过 DataCite 进行注册(待完成)。读者可通过 NASA ADS、Google Scholar、Semantic Scholar 等文献工具查阅引用信息,也可使用 alphaXiv、Hugging Face、Connected Papers、Litmaps、scite 等关联工具进一步探索相关工作。
总体而言,这项工作针对的是当前智能体研究中一个容易被忽视却日益重要的方向:在长周期任务中,智能体的核心能力或许不在于不停地“做事”,而在于恰当地“等待”并在正确时机采取行动。SentinelBench 通过合成但可复现的网页环境,将这一能力转化为可量化、可比较的指标,为后续研究提供了统一的评测基础。