最新の研究で、研究者たちはAgentFloorベンチマークを提案し、エージェントワークフローにおける様々な規模のオープンウェイトモデルの性能を体系的に評価しました。この研究はRanit Karmakar氏とJayita Chatterjee氏によって行われ、論文は2026年5月1日にarXivに提出されました。AgentFloorは30の決定論的タスクから構成され、6層の能力ラダーとして整理されています。各層は、指示追従、ツール使用、マルチステップ調整、持続的な制約下での長期計画といった異なる能力を評価します。
研究チームは、0.27Bから32Bパラメータの16のオープンウェイトモデルを選び、GPT-5と比較しました。合計16,542回のスコアリング実行が行われ、統計的に信頼性のある性能データが得られました。評価は自動化されたスコアリングメカニズムによって行われ、公平性と再現性が確保されています。
結果は明確な境界を示しました。短期の構造化されたツール使用タスクでは、中小規模のオープンウェイトモデルがすでに十分な性能を発揮し、実際のエージェントパイプラインで支配的なこれらのタスクにおいて、最も強いオープンウェイトモデルは全体的にGPT-5に匹敵し、かつ大幅に安価で高速に動作しました。しかし、長期計画タスクでは、持続的な調整と信頼性のある制約追跡が要求されるため、フロンティアモデルが依然として優位性を持ちますが、どちらも高い信頼性には至りませんでした。
興味深いことに、この境界は単にモデル規模によって説明できるものではありません。一部の失敗はターゲットを絞った介入によって改善されましたが、その効果はモデル固有であり、普遍的ではありません。これは、モデルの能力がパラメータ数だけでなく、訓練データ、アーキテクチャ設計、ファインチューニング戦略にも影響されることを示しています。
これらの発見に基づき、研究者たちは、日常的なアクションには小型のオープンウェイトモデルを使用し、より深い計画と制御を必要とするタスクには大型フロンティアモデルを予約するという実用的な設計原則を提案しています。この階層的なルーティング戦略は、リソース利用を最適化し、推論コストを削減しつつ、全体的な性能を維持することができます。研究チームは、ベンチマークコード、評価ツールキット、ハイパーパラメータスイープ設定、完全な実行コーパスを公開しており、コミュニティに貴重なリソースを提供しています。
この研究は、モデル選択とシステム設計に重要な指針を提供しています。エージェントシステムの設計において、すべてのタスクに最も強力なモデルが必要なわけではないことを示しています。タスクを適切に割り当てることで、運用コストを大幅に削減し、ユーザーエクスペリエンスを維持または向上させることができます。今後の研究では、このようなルーティングを自動化する方法や、特定のモデルに対するより細かい介入についてさらに探求することが期待されます。