CUBE：ベンチマークを一度ラップすれば、誰でもエージェンティックAIを活用可能に
CUBE（Common Unified Benchmark Environments）は、エージェンティックベンチマークのための最小限のインターフェース標準であり、現在の断片化と高い統合コストに対処します。ベンチマークを一度ラップすれば、評価、強化学習トレーニング、データ生成のために任意のCUBE互換プラットフォームで動作します。約30名の共著者とAI Allianceの支援を受けています。
人工知能分野では、エージェントの実用化の波が押し寄せています。高度なコーディングエージェントや実際のデプロイメントにより、長年の誇大広告がようやく実務者が扱えるものへと変わりつつあります。コミュニティは実際に取り組める何かを手にしています。しかし、その勢いの背後には静かな問題があります。私たちは評価データとトレーニングデータの宝庫に座っているのに、そのほとんどがエンジニアリングの壁に閉じ込められています。
現在、307のエージェンティックベンチマークが存在します。2026年末までには500から700に達すると予測されています。それぞれが評価シグナルと事後トレーニングデータの潜在的な源泉です。偽造が難しく、ゼロから生成するにはコストがかかる、検証済みで根拠のある構造化データです。問題はアクセスにあります。ベンチマークリポジトリと評価・トレーニングパイプラインの間には、カスタム統合作業の壁が立ちはだかっています。N個のベンチマーク×M個のプラットフォーム＝N×M個のコネクタが必要です。OSWorldを評価インフラで実行したい？誰かがその統合を書かなければなりません。同じベンチマークを強化学習トレーニングループにも使いたい？また誰かが書く必要があります。そのようなエンジニアリング作業のほとんどは、本来やるべきことがある研究者にのしかかっています。
標準化のタイミングは今です。ベンチマークエコシステムは現在断片化していますが、まだ回復可能な状況です。307のベンチマークであれば、コミュニティはまだまとまって行動できます。700になると、互換性のないツールがすでに本番環境で何年も使われており、後付けの改修は莫大なコストがかかります。標準は、断片化が固定化される前に登場したときに成功します。HTTPは、すべてのWebサーバーが独自のワイヤープロトコルを持つ前に登場しました。CUBEはエージェンティックベンチマークのために同じことを目指しており、GTC 2025はコミュニティがその準備ができているという強力なシグナルでした。
CUBE（Common Unified Benchmark Environments）は、エージェンティックベンチマークのための最小インターフェース標準です。ベンチマークをCUBEプロトコルに一度ラップすれば、評価、強化学習トレーニング、データ生成のために、あらゆるCUBE互換プラットフォーム、あらゆるインフラ上で動作します。重要な洞察は、ベンチマークが必要とするものと、それがどのようにプロビジョニングされるかを分離することです。ベンチマークはその要件（コンテナ、VM、特定のポート、スナップショット）を宣言します。プラットフォームがディスパッチを処理します。ラップトップであれ、AWSクラスターであれ、HPCシステムであれ、もはやベンチマークの問題ではありません。CUBEは4つのインターフェースレベルを定義します：タスク（Task）はコアなエージェント環境相互作用ループ、ベンチマーク（Benchmark）は共有ライフサイクル管理を持つタスクの集合、パッケージ（Package）はタスク間で共有されるリソース（WebArenaサーバーなど）、レジストリ（Registry）はベンチマークの発見とフィルタリングです。これはプラットフォームではなく、その下にあるプロトコルです。ベンチマークにとってのHTTPのようなものです。NeMo Gym、AgentBeats、Harbor、OpenEnvなどのプラットフォームが機能で競争し、ベンチマークは移植性を保ちます。
プロジェクトはAI AllianceのGitHubでApacheライセンスのもとに公開されており、[CUBE標準](https://github.com/The-AI-Alliance/cube-standard)と[cube-harness](https://github.com/The-AI-Alliance/cube-harness)が含まれます。ポジションペーパーはarXivにあります。コードはすでに利用可能で、ソフトウェア工学、ウェブナビゲーション、コンピュータ使用をカバーする10のCUBE準拠ベンチマークがラップされています。主要なトレーニング・評価フレームワークとの統合も活発に開発中です。このプロジェクトには、Mila、McGill、IBM Research、バークレー、CMU、オハイオ州立大学、HKUなどから約30名の共著者が集まり、Graham Neubig、Siva Reddy、Dawn Song、Tao Yu、Yu Suの助言を得ています。この広がりは偶然ではありません。AI Allianceは、研究者、エンジニア、ドメイン専門家を組織横断的に集めてこのような問題に取り組むために存在します。CUBEはその使命を実践したものであり、まさにそのようなクロスインスティテューショナルなコラボレーションによって構築されたコミュニティ標準です。
CUBEは早期にリリースされています。これは、標準が固まる前にコミュニティによって形成されることが最も有用だからです。ベンチマークをメンテナンスしている方、評価インフラを構築している方、大規模RLトレーニングを運用している方、あなたのフィードバックがCUBEの未来を形作ります。最も簡単な参加方法は、[この短いフォーム](https://forms.gle/DGxvw7ixY1wMB53Q9)に記入してベンチマークを登録することです。オリジナル作者でも、ラップされるのを見たい頻繁なユーザーでも、コミットメントは不要です。さらに進みたい場合、最も速い技術的パスは次の通りです：cube init my-benchでビルトインテンプレートからスキャフォールドを作成し、cube test my-benchでコンプライアンススイートを実行します。標準そのものの形成に深く関わりたいですか？コアチームは、ロードマップに影響を与え、構築したものに対するクレジットを得たい研究者やエンジニアの応募を受け付けています。
リソース：
- CUBE標準：https://github.com/The-AI-Alliance/cube-standard
- CUBEハーネス：https://github.com/The-AI-Alliance/cube-harness
- ポジションペーパー：https://arxiv.org/abs/2603.15798
標準の主任アーキテクト：Alexandre Lacoste（ServiceNow AI Research） 実装の主任エンジニア：Nicolas Gontier（ServiceNow AI Research） 主要機関：ServiceNow Research、Silverstream.ai、NVIDIA 助言提供：Graham Neubig、Siva Reddy、Dawn Song、Tao Yu、Yu Su