TLDR：AI 环境正在成为模型能力的核心要素——它们是可执行的世界，能够生成轨迹与反馈，而不只是考试题目。本文追溯了环境从 Atari、OpenAI Gym、AlphaZero 经 MuJoCo，到由 RLVR 驱动的后训练（Tulu 3 与 DeepSeek-R1 背后的方法），再到新一代智能体环境（包括 SWE-Gym、WebArena、OSWorld、TheAgentCompany、Tau2-bench 和 AgentMercury）的发展路径。文章随后提出了一个优秀环境应具备的要素：奖励需追踪真实结果并能抵御作弊、具备因果保真度、练习成本低且可重复、难度结构合理，以及改进能够迁移到训练世界之外。文章认为，前沿在于提供多样化、有实际后果、且反馈可靠的练习。
设想你雇了一位读遍所有编程书籍、却从未运行过程序的工程师。他能解释数据库、讨论分布式系统，还能画出一张自信得令人印象深刻的架构图。然后你让他修复一个失败的部署。突然间，描述工作与执行工作之间的差别变得相当昂贵。
这是理解 AI 环境的一个有用类比。预训练让模型从被记录的经验中获得广泛知识。而环境让智能体能够行动、遭遇后果，并生成新的经验。编译器会拒绝它的代码；浏览器会显示一个意料之外的页面；客户会在工作流进行到一半时改变需求。
我的论点是，环境正在成为 AI 能力的一项主要要素。它们是训练数据的生成器：可执行的世界，产生轨迹与反馈。环境的质量决定了智能体能练习什么、能发现哪些错误，以及训练设置内部的改进在外部是否真正有意义。
从游戏模拟器到语言模型
阅读更多