近日,一篇题为《CEO-Bench: Can Agents Play the Long Game?》的论文以预印本形式发布在 arXiv 上(编号 arXiv:2606.18543,v1 版本),作者为 Haozhe Chen 等三人,提交时间为 2026 年 6 月 16 日。论文聚焦一个当前语言模型智能体评测中尚未被充分覆盖的问题:当任务从孤立的、短周期的执行型工作,转向需要长期规划、在噪声中获取信息、适应变化并协调多个环节的真实世界挑战时,智能体是否依然称职。
论文指出,现有语言模型智能体在软件工程、客户服务等边界清晰、周期较短的任务上已表现得相当熟练。但现实世界的难题往往要求多种复杂能力同时发挥作用,而这些能力在智能体上基本还没有得到检验。作者将其归纳为四点:一是要在充满不确定性的长周期中导航;二是要在噪声环境中获取有效信息;三是要适应不断变化的外部世界;四是要把多个相互联动的部分协调到同一个连贯目标之下。
为同时评估上述能力,研究团队提出了 CEO-Bench。该基准通过模拟一项具有代表性的真实任务来考察智能体——经营一家初创公司 500 天。在该环境中,智能体通过可编程的 Python 接口管理定价、市场营销、预算以及一家虚构公司的诸多其他方面,与人类 CEO 处于相同的环境、面对相同的挑战。
按照论文的描述,要在 CEO-Bench 中取得成功,智能体需要分析充满噪声且彼此关联的商业数据库,把信号转化为合理的战略,并通过编程协调大量决策。表现最强的智能体会编写复杂的代码来模拟客户群体,以预测未来现金流,还会挖掘谈判历史记录,从中发现隐藏的客户偏好。
然而评测结果显示,即便当前最先进的模型在这个环境中也普遍吃力。只有 Claude Opus 4.8 和 GPT-5.5 的最终成绩高于 100 万美元的起始余额,而且两者都没有实现持续盈利。这一结果说明,能够在长周期内维持自适应进展所需的智能,与短周期执行任务所需的能力之间存在明显差距。
论文将 CEO-Bench 定位为迈出的第一步,旨在衡量驱动持续、自适应进步所需的智能。作者同时给出了论文的学科分类信息:主分类为人工智能(cs.AI),并涉及计算与语言(cs.CL)以及软件工程(cs.SE)。论文以 1,399 KB 的版本提交,提供 PDF 与实验性 HTML 全文,TeX 源码可查看许可后获取,DOI 通过 DataCite 发放(注册尚待完成)。
从更广的意义上看,这项工作的价值在于把评测的焦点从“能否完成单个任务”转向“能否在长时间跨度内保持连贯战略并随环境变化调整”。论文的结论并不乐观:多数最先进模型在模拟经营 500 天的过程中难以跑赢 100 万美元的起始资金,更谈不上稳定盈利。这为后续研究提出了明确的方向——如何让智能体在噪声、不确定性与多目标协调并存的长周期环境中,做出持续而自适应的决策。