EdgeBench：揭示人工智能在真实环境中学习的规模定律
EdgeBench是一个包含134个真实世界任务的基准测试，用于评估自主AI代理在长时间交互中的学习能力。它跟踪每项任务超过12小时的性能轨迹，发现性能随交互时间呈对数S形规模定律（R²=0.998）。基准测试涵盖科学、软件工程、优化、知识、形式推理和游戏等类别。领先模型如Claude Opus 4.8和GPT-5.5显示出随着交互时间增加而持续改进的趋势。
字节跳动Seed团队正式推出了EdgeBench，这是一个面向自主AI代理的基准测试，旨在衡量它们在真实世界环境中通过长时间交互进行学习的能力。与传统的静态基准不同，EdgeBench将代理置于可执行的任务环境中，提供多层次、真实的反馈，并允许代理每项任务迭代超过12小时，追踪完整的改进轨迹，而不仅仅是最终得分。
EdgeBench包含134个多样化的任务，涵盖科学和机器学习、系统和软件工程、优化、知识、形式化证明以及游戏等多个类别。通过对约38,000小时的代理交互数据进行分析，研究团队发现，代理的性能随交互时间遵循一种对数S形规模定律（log-sigmoid scaling law），拟合优度R²高达0.998。这意味着性能提升初期较慢，随后加速，最终趋于饱和。
在完整的134项任务排行榜上，Claude Opus 4.8以12小时总分51.3分的成绩位居榜首，GPT-5.5以48.4分紧随其后，接着是GPT-5.4（39.3分）、GLM-5.1（37.4分）和DS-V4-Pro（31.0分）。在各类别中，Claude Opus 4.8在系统和软件工程类别表现尤为突出（67.4分），而所有模型在科学和机器学习类别上得分相对较低，显示该领域的挑战性。
为了促进社区研究，团队还公开了51项任务的子集，包括完整的评估框架。所有任务的详细逐项得分和随时间变化的性能数据均已提供，使研究人员能够深入了解不同模型在不同任务类型和预算下的表现。EdgeBench的发布为AI代理的持续学习能力提供了重要的基准，强调了交互时间作为性能关键因素的作用，并揭示了当前领先模型在长期学习任务中的差异。