AOS-Bench：LLM 智慧體能管理動態工作負載嗎？
arXiv 上釋出的一篇新論文（arXiv:2610.33178，cs.AI）由 Erle Zhu 與另外四位作者提交，探討編碼智慧體從“一次處理一個請求”轉向成為持續執行的助手這一轉變。現實中的使用場景往往是：使用者在同一個機器上同時託付一串工作——一次構建、一個資料處理任務、一個 bug 修復可能都處於待處理狀態。這樣的智慧體必須自行決定何時接取新任務、如何委派與並行重疊，以及如何在機器的 CPU 與記憶體限制內完成任務。現有基準無法衡量這一點，因為它們把每個任務隔離起來單獨評估。
為此，作者提出 AOS-Bench，把智慧體系統當作“工作負載管理器”來評測：經過驗證的任務隨時間陸續到達，必須在共享的 CPU 與記憶體上限下交付完成；作為參照，同一批任務以一次一個的方式執行，形成每個系統自身的基準線。
在五組“模型—執行框架”組合上的結果顯示，隔離環境下的任務成功率並不能均勻地遷移到流式負載場景。在重型工作負載下，每個系統都會損失 13 到 23 分。在中等負載下，各系統在隔離成功率上的差距為 11 分，但在流式場景中的差距擴大到 26 分；有兩個系統在隔離測試中僅相差 0.6 分，卻分別完成了同一批任務的 54% 和 68%。
針對執行策略的干預實驗把這一差距很大程度上歸因於任務接取環節：序列排程會讓重型負載下 73% 的任務無人認領。然而，更復雜的管理機制未必帶來幫助——固定併發度為 2 的策略在中等和重型負載下都與最佳的智慧體自主管理策略相差不超過 4 分。此外，在所有策略下，當任務處於等待狀態時，CPU 使用率的中位數始終低於所配置核心數的 30%。
這些結果說明，工作負載管理應被視為智慧體的一項獨立能力，而 AOS-Bench 提供了衡量這一能力的手段。該論文於 2026 年 10 月 23 日提交，DOI 為 10.48550/arXiv.2610.33178，可透過 arXiv 獲取 PDF、實驗性 HTML 版本及 TeX 原始碼。