在一项最新发表的研究中，研究人员提出了一个名为AgentFloor的基准测试，旨在系统性地评估不同规模的开放权重模型在代理工作流中的表现。该研究由Ranit Karmakar和Jayita Chatterjee完成，论文于2026年5月1日提交至arXiv预印本服务器，并获得了计算机科学>人工智能和计算与语言两个领域的分类。AgentFloor基准测试包含30个确定的、可重复的任务，这些任务被精心组织成一个六层的能力阶梯。这六个层级依次是：指令遵循（基础层，要求模型准确执行简单指令）、工具使用（模型需要调用外部工具完成指定操作）、多步协调（要求模型在多个步骤中保持一致性并协调不同子任务），以及长期规划（在持续约束下进行多步规划并跟踪约束条件）。每个层级都包含若干精心设计的任务，以隔离不同维度的能力。
研究团队选取了16个开放权重模型，参数规模从0.27B到32B不等，涵盖了目前主流的开源模型系列。作为对比，他们还评估了OpenAI的GPT-5模型。总共进行了16,542次评分运行，每次运行都记录模型在任务上的表现，从而获得统计学上可靠的性能数据。评估过程采用了自动化的评分机制，确保结果的公平性和可重复性。
研究结果揭示了一个清晰的分界线。在短视距、结构化的工具使用任务上，中小型的开放权重模型已经表现得足够好。这类任务在实际的代理流水线中占据主导地位，例如简单的API调用、数据查询等。实际上，最强的开放权重模型在整体表现上可以匹配GPT-5，同时运行速度更快、成本更低，这对于生产环境中的部署具有重要意义。然而，在需要持续协调和可靠约束跟踪的长期规划任务上，前沿模型仍然具有优势。例如，在需要多步推理并持续满足多个约束条件的任务中，GPT-5的表现优于所有开放权重模型，但即使是GPT-5也未达到高可靠性水平。
值得注意的是，这个分界线并不能简单地用模型规模来解释。研究人员发现，某些失败可以通过有针对性的干预来缓解，例如改进提示工程或调整解码参数，但这些干预的效果因模型而异，并非普遍适用。这意味着模型的能力不仅仅取决于参数数量，还受到训练数据、架构设计和微调策略的影响。
基于这些发现，研究人员提出了一个实用的设计原则：在构建代理系统时，可以使用较小的开放权重模型来处理大量的常规动作，而将需要更深入规划和控制的狭窄任务留给大型前沿模型。这种分层路由策略可以优化资源利用，降低推理成本，同时保持系统整体性能。为了促进后续研究和应用，团队已经公开了基准测试代码、评估工具包、超参数扫描配置以及完整的运行结果语料库。这些资源可以在GitHub上获取，为社区提供了宝贵的参考。
这一研究为模型选择和系统设计提供了重要的指导。它表明，在代理系统设计中，并非所有任务都需要最强大的模型。通过合理分配任务，可以显著降低运营成本，同时保持甚至提升用户体验。未来的研究可以进一步探索如何自动化地实现这种路由，以及如何针对特定模型进行更精细的干预。