Skyfall AI 發佈 MORPHEUS：一種持久企業模擬基準，使持續強化學習在結構化非平穩性下成為必要

大多數強化學習基準在每個回合後重置環境，但真實企業運營從不重置。Skyfall AI 的 MORPHEUS 旨在填補這一空白，它是一個面向持續強化學習（CRL）的持久企業模擬平台。

MORPHEUS 基於 Javed 和 Sutton（2024）提出的“大世界假説”，該假説認為世界的複雜性超過了任何智能體的表徵能力，導致即使動態固定，環境也呈現出非平穩性。為了強制進行持續學習，MORPHEUS 要求三個特性：持久性（歷史決策會複合影響未來動態）、非平穩性（任何固定策略最終都會變得次優）和操作複雜性（不存在固定的最優策略）。

每個環境都是一個自包含的 TypeScript 世界插件，輸出操作描述符（OD）、模擬調度器、種子數據和文檔。OD 定義了能力的逐步執行計劃。智能體通過能力 API 行動，每次調用觸發一次 OD 執行。非平穩性來自兩個引擎：故障注入引擎在 OD 步驟之間插入類型化中斷，涵蓋 11 種故障類型，以四種預設速率運行；異步配置轉移控制器在固定時間戳更改故障預設和需求，獨立於訓練循環，防止智能體利用更新週期性作為代理時鐘。獎勵來自三個本機記錄的操作驗證器：故障事件信號、財務賬簿狀態和資源吞吐量，複合獎勵使用默認權重 w_f=0.5, w_l=w_p=0.25。

由於動作空間很大，純強化學習從零開始不切實際。MORPHEUS 使用兩階段流程：前沿模型（Gemini 3.1 pro）使用 ReAct 框架收集軌跡，然後通過監督微調（SFT）對 Qwen3-14B 進行微調。所有強化學習運行都從共享的 SFT 檢查點開始，隔離持續學習行為與基本操作能力。所有基線使用 PPO 作為在線後訓練的基礎優化器。

研究團隊提出了六指標評估協議，包括每配置獎勵、適應速度、遺忘、恢復時間、穩定性和性能差距。其中適應速度是首要指標，衡量運行平均獎勵達到上限一半所需的步數。補充診斷包括相對適應優勢（RAA）和通過有效秩衡量的可塑性。

從共享 SFT 檢查點測試了四種算法族：PPO（無 CL 機制）、HER（後見重放）、EWC（權重鞏固）和 LCM（潛在上下文模型）。定義了兩種任務：任務1為結構漂移下的動態資源分配，任務2為延遲效應下的調度。結果沒有單一族佔優。在任務1上，EWC 獎勵最高，LCM 適應最快。在任務2上，HER 獎勵最高，而 LCM 在延遲獎勵下失去優勢。所有方法的平均性能差距接近1.0，表明存在大的穩定態缺陷。PPO 和 HER 通常只在第一個配置中適應，後續階段失敗。

MORPHEUS 適合多種角色：AI 工程師可測試智能體是否能在無標籤信號下檢測制度轉移；數據科學家可測試延遲信用分配；軟件工程師可利用 TypeScript 插件格式靈活修改獎勵或觀察性。

優勢包括持久世界不重置、可參數化的可重現制度轉移、基於操作驗證器的本機獎勵、開源評估代碼。弱點包括僅評估了五個環境中的兩個、上限假設零故障導致樂觀、轉移是外部觸發而非決策複合驅動、獎勵權重是研究變量而非經過驗證的行業目標。

關鍵要點：MORPHEUS 運行永不重置的持久企業世界；包含五個環境，本文評估了兩個；六指標協議評分；四種基線均遠低於理論上限；沒有單一算法在所有方面勝出。更多信息見論文和項目頁面。