EdgeBench: 実環境におけるAI学習のスケーリング則を解明
EdgeBenchは、自律型AIエージェントが実環境で長時間のインタラクションを通じて学習する能力を評価するための134の実世界タスクからなるベンチマークです。各タスクで12時間以上のパフォーマンスを追跡し、インタラクション時間に応じて対数シグモイド型のスケーリング則（R²=0.998）を示すことを発見しました。タスクは科学・ML、システム・SE、最適化、知識、形式推論、ゲームのカテゴリにわたります。Claude Opus 4.8やGPT-5.5などのトップモデルは、インタラクション時間の増加とともに継続的な改善を示しています。
バイトダンスのSeedチームは、自律型AIエージェントが実世界環境で長時間のインタラクションを通じて学習する能力を測定する新しいベンチマーク「EdgeBench」を発表しました。従来の静的ベンチマークとは異なり、EdgeBenchはエージェントを実行可能なタスク環境に配置し、現実的で多層的なフィードバックを提供し、エージェントがタスクごとに12時間以上反復できるようにし、最終スコアだけでなく改善の全軌跡を追跡します。
EdgeBenchは134の多様なタスクで構成され、科学と機械学習、システムとソフトウェアエンジニアリング、最適化、知識、形式証明、ゲームなどのカテゴリをカバーしています。全134タスクにおける約38,000時間のエージェントインタラクションを分析した結果、パフォーマンスはインタラクション時間に応じて対数シグモイド型のスケーリング則（log-sigmoid scaling law）に従い、決定係数R²は0.998と非常に高い適合度を示しています。これは、パフォーマンスの向上が初期は遅く、その後加速し、最終的に飽和することを意味します。
完全な134タスクのリーダーボードでは、Claude Opus 4.8が12時間で51.3ポイントのスコアでトップ、GPT-5.5が48.4ポイントで続き、次いでGPT-5.4（39.3）、GLM-5.1（37.4）、DS-V4-Pro（31.0）となっています。カテゴリ別では、Claude Opus 4.8はシステムとソフトウェアエンジニアリングで特に優れたパフォーマンス（67.4ポイント）を示しましたが、すべてのモデルが科学と機械学習のカテゴリで比較的低いスコアにとどまり、この分野の難易度の高さが浮き彫りになりました。
チームはまた、コミュニティの研究を促進するために、51タスクのサブセットと完全な評価フレームワークを公開しました。各タスクの詳細なスコアと時間経過に伴うパフォーマンスデータはすべて提供されており、研究者はさまざまなモデルが異なるタスクタイプと予算でどのように振る舞うかを詳細に分析できます。EdgeBenchの発表は、AIエージェントの継続的学習能力に関する重要なベンチマークを提供し、インタラクション時間がパフォーマンスの重要な要素であることを強調し、長期学習タスクにおける現在の最先端モデルの差異を明らかにしています。