AI エージェントは、数分、数時間、あるいはそれ以上の時間にわたる作業を実行するようますます求められています。しかし、現在のエージェントのデフォルトの動作モデルは継続的なアクションです。ツール呼び出しを発行し、ページを更新し、代替案を検索し、その他の方法で進捗を強制しようとします。これは多くの長時間実行タスクにとって間違ったアプローチであり、それらのタスクは持続的注意力の戦略によってよりよくサービスされます。代わりに、エージェントは環境を監視し、外部イベントによって進捗が可能になったときに気づき、待機中にリソースを浪費することなく迅速に応答する必要があります。このクラスのタスクの進捗を測定するために、研究者は SentinelBench を導入しました。これは時間発展する監視タスクのためのオープンソースベンチマークです。
SentinelBench には、メール、カレンダー、金融、プロフェッショナルネットワーキング、エンターテインメントを含む 10 の合成 Web 環境にわたる 100 のタスクが含まれています。各環境はライブ Web インターフェースを公開し、スクリプト化されたイベントのシーケンスを再生します。そのため、エージェントは足元で状態が変化する Web ページをナビゲートし、推論する必要があります。SentinelBench はタスク完了、反応時間、リソース使用量を測定し、応答性とコストの間のトレードオフを明らかにします。研究チームは 3 つのモデルと 2 つのブラウザエージェントハーネスにわたる結果を報告し、将来の比較のためのパフォーマンスベースラインを確立するとともに、エージェントの設計選択が主要指標に劇的な影響を与え得ることを示しています。これらの結果は、SentinelBench がエージェントの動作における意味のある違いを識別できることを示しています。
この論文は Matheus Kunzler Maldaner 他 7 名の著者によって執筆され、2026 年 6 月 3 日に arXiv に提出されました。18 ページ、16 図で構成され、人工知能（cs.AI）分野に属し、ACM 分類は I.2 です。arXiv 識別子は 2606.05342 で、DOI は DataCite 経由で発行済み（登録待ち）です。全文は PDF、実験的 HTML、TeX ソースから入手できます。SentinelBench はオープンソースベンチマークとしてリリースされ、長時間実行監視エージェントの研究と評価を促進することを目的としています。