EdgeBench: 実環境におけるAI学習のスケーリング則を解明

EdgeBenchは、自律型AIエージェントが実環境で長時間のインタラクションを通じて学習する能力を評価するための134の実世界タスクからなるベンチマークです。各タスクで12時間以上のパフォーマンスを追跡し、インタラクション時間に応じて対数シグモイド型のスケーリング則（R²=0.998）を示すことを発見しました。タスクは科学・ML、システム・SE、最適化、知識、形式推論、ゲームのカテゴリにわたります。Claude Opus 4.8やGPT-5.5などのトップモデルは、インタラクション時間の増加とともに継続的な改善を示しています。