コーディングエージェントは、一度に1つのリクエストを処理する段階から、ユーザーが一連の作業を任せる常駐アシスタントへと移行しつつある。同じマシン上で、ビルド、データ処理ジョブ、バグ修正が同時に保留される可能性がある。このようなエージェントは、新しいタスクをいつ引き受けるか、どのように委任して重複実行するか、マシンのCPUとメモリの制限内にどのように収めるかを決定しなければならない。既存のベンチマークでは、各タスクを孤立して評価するため、これを測定できない。そこで研究者らはAOS-Benchを導入した。これは、エージェントシステムをワークロードマネージャとして評価するもので、検証済みのタスクが時間とともに到着し、共有のCPUとメモリ制限の下で完了させなければならない。同じタスクを1つずつ実行した結果を、システムごとの参照として用いる。
5つのモデルとハーネスの組み合わせを対象にした実験では、孤立タスクでの成功が流れ作業のシナリオに均等に引き継がれないことが示された。重負荷では、どのシステムも成功率が13〜23ポイント低下した。中負荷では、システム間の孤立成功率の差は11ポイントだったが、ストリーム成功率の差は26ポイントに広がった。孤立環境でわずか0.6ポイントしか違わない2つのシステムが、同じタスクの54%と68%をそれぞれ完了したのである。
実行ポリシーへの介入により、このギャップの多くはタスクの受け入れ段階に起因することが分かった。逐次ディスパッチでは、重負荷タスクの73%が未処理のままになる。しかし、より精巧な管理が必ずしも役立つわけではない。固定同時実行数2のポリシーは、中負荷と重負荷の両方で、最良のエージェント管理ポリシーと4ポイント以内の差に収まった。また、どのポリシーでも、タスク待機中のCPU使用率の中央値はプロビジョニングされたコア数の30%未満に留まった。
これらの結果は、ワークロード管理がエージェントの独立した能力であることを示しており、AOS-Benchはそれを測定する手段となる。論文はErle Zhuら5名の著者によって2026年10月23日にarXivに提出され、人工知能（cs.AI）分野に分類されている。