在一項最新發表的研究中，研究人員提出了一個名為AgentFloor的基準測試，旨在系統性地評估不同規模的開放權重模型在代理工作流中的表現。該研究由Ranit Karmakar和Jayita Chatterjee完成，論文於2026年5月1日提交至arXiv預印本伺服器，並獲得了電腦科學>人工智慧和計算與語言兩個領域的分類。AgentFloor基準測試包含30個確定的、可重複的任務，這些任務被精心組織成一個六層的能力階梯。這六個層級依次是：指令遵循（基礎層，要求模型準確執行簡單指令）、工具使用（模型需要呼叫外部工具完成指定操作）、多步協調（要求模型在多個步驟中保持一致性並協調不同子任務），以及長期規劃（在持續約束下進行多步規劃並跟蹤約束條件）。每個層級都包含若干精心設計的任務，以隔離不同維度的能力。
研究團隊選取了16個開放權重模型，引數規模從0.27B到32B不等，涵蓋了目前主流的開源模型系列。作為對比，他們還評估了OpenAI的GPT-5模型。總共進行了16,542次評分執行，每次執行都記錄模型在任務上的表現，從而獲得統計學上可靠的效能資料。評估過程採用了自動化的評分機制，確保結果的公平性和可重複性。
研究結果揭示了一個清晰的分界線。在短視距、結構化的工具使用任務上，中小型的開放權重模型已經表現得足夠好。這類任務在實際的代理流水線中佔據主導地位，例如簡單的API呼叫、資料查詢等。實際上，最強的開放權重模型在整體表現上可以匹配GPT-5，同時執行速度更快、成本更低，這對於生產環境中的部署具有重要意義。然而，在需要持續協調和可靠約束跟蹤的長期規劃任務上，前沿模型仍然具有優勢。例如，在需要多步推理並持續滿足多個約束條件的任務中，GPT-5的表現優於所有開放權重模型，但即使是GPT-5也未達到高可靠性水平。
值得注意的是，這個分界線並不能簡單地用模型規模來解釋。研究人員發現，某些失敗可以透過有針對性的干預來緩解，例如改進提示工程或調整解碼引數，但這些干預的效果因模型而異，並非普遍適用。這意味著模型的能力不僅僅取決於引數數量，還受到訓練資料、架構設計和微調策略的影響。
基於這些發現，研究人員提出了一個實用的設計原則：在構建代理系統時，可以使用較小的開放權重模型來處理大量的常規動作，而將需要更深入規劃和控制的狹窄任務留給大型前沿模型。這種分層路由策略可以最佳化資源利用，降低推理成本，同時保持系統整體效能。為了促進後續研究和應用，團隊已經公開了基準測試程式碼、評估工具包、超引數掃描配置以及完整的執行結果語料庫。這些資源可以在GitHub上獲取，為社群提供了寶貴的參考。
這一研究為模型選擇和系統設計提供了重要的指導。它表明，在代理系統設計中，並非所有任務都需要最強大的模型。透過合理分配任務，可以顯著降低運營成本，同時保持甚至提升使用者體驗。未來的研究可以進一步探索如何自動化地實現這種路由，以及如何針對特定模型進行更精細的干預。