跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

SentinelBench:面向长期运行监控智能体的基准测试

文章摘要

SentinelBench 是一个开源基准,包含 100 个任务,横跨 10 个合成网页环境,用于评估 AI 智能体在长时间运行中的监控与响应能力,而非持续动作。它测量任务完成率、反应时间和资源消耗,揭示响应性与成本之间的权衡。

来源arXiv AI作者: Matheus Kunzler Maldaner, Adam Fourney, Amanda Swearngin, Hussein Mozzanar, Gagan Bansal, Maya Murad, Rafah Hosn, Saleema Amershi
SentinelBench:面向长期运行监控智能体的基准测试
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

AI智能体正越来越多地被要求执行跨越数分钟、数小时乃至更长时间的工作。然而,目前智能体行为的默认模式是“持续行动”:不断发出工具调用、刷新页面、搜索替代方案,或以其他方式强行推动进展。论文作者指出,对于许多长时间运行的任务而言,这是一种错误的方法。这类任务更适合采用“持续关注”的策略——智能体应当监控环境,在外部事件使进展成为可能时及时察觉,然后迅速作出响应,同时在等待期间不浪费资源。为了衡量这一类任务上的进展,研究团队提出了 SentinelBench,一个面向随时间演变的监控任务的开源基准测试。

SentinelBench 包含 100 个任务,分布在 10 个合成网页环境中,涵盖电子邮件、日历、金融、职业社交和娱乐等场景。每个环境都提供一个实时网页界面,并回放一段脚本化的事件序列,从而要求智能体在状态不断变化的网页上进行导航和推理。这种设计模拟了真实世界中外部条件动态演变的情形,而不是静态的问答式任务。

该基准测试从三个维度评估智能体表现:任务完成情况、反应时间以及资源使用量,由此揭示响应速度与成本之间的权衡关系。论文报告了在三种模型和两种浏览器智能体框架(harness)下的结果,为未来的比较建立了性能基线,并展示了智能体设计选择如何能够显著影响关键指标。作者表示,这些结果表明 SentinelBench 能够区分智能体行为上有意义的差异。

该论文由 Matheus Kunzler Maldaner 及另外七位作者共同完成,于 2026 年 6 月 3 日提交,属于 arXiv 人工智能(cs.AI)分类,ACM 分类为 I.2。论文共 18 页、16 幅图,提交历史显示 v1 版本于 2026 年 6 月 3 日 18:32:00 UTC 发布,文件大小为 13,778 KB,提交人为 Amanda Swearngin。论文提供 PDF、实验性 HTML 以及 TeX 源码等全文链接,DOI 为 https://doi.org/10.48550/arXiv.2606.05342,arXiv 颁发的 DOI 正通过 DataCite 进行注册(待完成)。读者可通过 NASA ADS、Google Scholar、Semantic Scholar 等文献工具查阅引用信息,也可使用 alphaXiv、Hugging Face、Connected Papers、Litmaps、scite 等关联工具进一步探索相关工作。

总体而言,这项工作针对的是当前智能体研究中一个容易被忽视却日益重要的方向:在长周期任务中,智能体的核心能力或许不在于不停地“做事”,而在于恰当地“等待”并在正确时机采取行动。SentinelBench 通过合成但可复现的网页环境,将这一能力转化为可量化、可比较的指标,为后续研究提供了统一的评测基础。

展开要点与分析

文章情报

工程师进阶

要点

  • SentinelBench 包含 100 个任务,覆盖电子邮件、日历、金融、职业社交和娱乐等 10 个合成网页环境。
  • 每个环境提供实时网页界面并回放脚本化事件序列,要求智能体在动态变化的页面中导航和推理。
  • 基准测量任务完成率、反应时间和资源使用,暴露响应性与成本之间的权衡。
  • 在三个模型和两个浏览器智能体框架上的基线结果显示了智能体设计选择对关键指标的显著影响。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。