立場：強化學習研究者需要區分解決模擬器和將模擬器作為代理使用

在強化學習（RL）研究中，模擬器被廣泛用作評估和訓練演算法的工具。然而，一篇在ICML 2026上發表的立場論文指出，研究者們常常忽略了兩種根本不同的模擬器使用方式：解決模擬器本身，以及將模擬器作為真實部署環境的一種代理。由Matthew Vandergrift等人撰寫的論文強調，當研究者專注於在模擬器中取得高分時，往往會採用專為模擬器設計的解決方案，例如利用環境的確定性或可重置性，這些方法在真實部署環境中往往不適用。這樣做實際上偏離了“學習在部署中決策”的原始目標。儘管研究如何高效求解模擬器本身也是一個有價值的方向，但它與將模擬器作為代理的研究在約束條件、演算法選擇和評估指標上有著本質區別。

具體來說，在求解模擬器的設定下，智慧體可以無限制地訪問環境，能夠進行多次嘗試、回放、或者重置到任意狀態。這些“特權”使得許多演算法（例如基於表格的規劃或專用的搜尋演算法）能夠取得高分，但在真實部署中卻無法使用。相反，當把模擬器作為部署代理時，智慧體必須像在真實世界中一樣，僅從一次軌跡中學習，不能重置或獲得額外回合。這種約束差異導致合適的演算法不同：對於求解模擬器，追求最終效能最大化的演算法（如進化策略）可能合適；而對於代理使用，則更需要關注樣本效率和泛化能力的演算法（如元學習或離線RL）。評估指標也相應不同：前者關注最終得分，後者則應關注學習曲線、魯棒性和遷移效能。

論文透過兩個簡單的實驗展示了混淆這兩種設定帶來的問題。第一個實驗在一個確定性的導航任務中，一個利用環境確定性的規劃演算法在模擬器中取得了完美分數，但當引入隨機性（模擬真實世界的噪聲）時，該演算法徹底失敗。第二個實驗在一個隨機轉移動力學環境中，一個允許重置的演算法透過反覆嘗試特定狀態獲得了高分，但在禁止重置的條件下表現與隨機策略無異。這些實驗清晰地表明，在模擬器中表現優異的演算法未必適合真實部署。

作者指出，這種混淆不僅誤導了研究結論，還可能導致資源浪費和錯誤的研究方向。他們呼籲研究社群在每篇論文中明確宣告模擬器的使用目的，並建立針對每種場景的標準實驗協議。例如，可以要求報告在模擬器上的效能時，同時說明是否利用了可重置性、確定性等特性。此外，還需開發新的基準測試，專門用於區分這兩種用法。該論文已被ICML 2026接收，預計將引發關於強化學習實驗方法的廣泛討論，推動領域向更加嚴謹和可復現的方向發展。