EdgeBench：揭示人工智能在真實環境中學習的規模定律
EdgeBench是一個包含134個真實世界任務的基準測試，用於評估自主AI代理在長時間交互中的學習能力。它跟蹤每項任務超過12小時的性能軌跡，發現性能隨交互時間呈對數S形規模定律（R²=0.998）。基準測試涵蓋科學、軟件工程、優化、知識、形式推理和遊戲等類別。領先模型如Claude Opus 4.8和GPT-5.5顯示出隨着交互時間增加而持續改進的趨勢。
字節跳動Seed團隊正式推出了EdgeBench，這是一個面向自主AI代理的基準測試，旨在衡量它們在真實世界環境中通過長時間交互進行學習的能力。與傳統的靜態基準不同，EdgeBench將代理置於可執行的任務環境中，提供多層次、真實的反饋，並允許代理每項任務迭代超過12小時，追蹤完整的改進軌跡，而不僅僅是最終得分。
EdgeBench包含134個多樣化的任務，涵蓋科學和機器學習、系統和軟件工程、優化、知識、形式化證明以及遊戲等多個類別。通過對約38,000小時的代理交互數據進行分析，研究團隊發現，代理的性能隨交互時間遵循一種對數S形規模定律（log-sigmoid scaling law），擬合優度R²高達0.998。這意味着性能提升初期較慢，隨後加速，最終趨於飽和。
在完整的134項任務排行榜上，Claude Opus 4.8以12小時總分51.3分的成績位居榜首，GPT-5.5以48.4分緊隨其後，接着是GPT-5.4（39.3分）、GLM-5.1（37.4分）和DS-V4-Pro（31.0分）。在各類別中，Claude Opus 4.8在系統和軟件工程類別表現尤為突出（67.4分），而所有模型在科學和機器學習類別上得分相對較低，顯示該領域的挑戰性。
為了促進社區研究，團隊還公開了51項任務的子集，包括完整的評估框架。所有任務的詳細逐項得分和隨時間變化的性能數據均已提供，使研究人員能夠深入瞭解不同模型在不同任務類型和預算下的表現。EdgeBench的發佈為AI代理的持續學習能力提供了重要的基準，強調了交互時間作為性能關鍵因素的作用，並揭示了當前領先模型在長期學習任務中的差異。