TLDR：AI 環境正在成為模型能力的核心要素——它們是可執行的世界，能夠生成軌跡與反饋，而不只是考試題目。本文追溯了環境從 Atari、OpenAI Gym、AlphaZero 經 MuJoCo，到由 RLVR 驅動的後訓練（Tulu 3 與 DeepSeek-R1 背後的方法），再到新一代智慧體環境（包括 SWE-Gym、WebArena、OSWorld、TheAgentCompany、Tau2-bench 和 AgentMercury）的發展路徑。文章隨後提出了一個優秀環境應具備的要素：獎勵需追蹤真實結果並能抵禦作弊、具備因果保真度、練習成本低且可重複、難度結構合理，以及改進能夠遷移到訓練世界之外。文章認為，前沿在於提供多樣化、有實際後果、且反饋可靠的練習。
設想你僱了一位讀遍所有程式設計書籍、卻從未執行過程式的工程師。他能解釋資料庫、討論分散式系統，還能畫出一張自信得令人印象深刻的架構圖。然後你讓他修復一個失敗的部署。突然間，描述工作與執行工作之間的差別變得相當昂貴。
這是理解 AI 環境的一個有用類比。預訓練讓模型從被記錄的經驗中獲得廣泛知識。而環境讓智慧體能夠行動、遭遇後果，並生成新的經驗。編譯器會拒絕它的程式碼；瀏覽器會顯示一個意料之外的頁面；客戶會在工作流進行到一半時改變需求。
我的論點是，環境正在成為 AI 能力的一項主要要素。它們是訓練資料的生成器：可執行的世界，產生軌跡與反饋。環境的質量決定了智慧體能練習什麼、能發現哪些錯誤，以及訓練設定內部的改進在外部是否真正有意義。
從遊戲模擬器到語言模型
閱讀更多