Skyfall AI 釋出 MORPHEUS：一種持久企業模擬基準，使持續強化學習在結構化非平穩性下成為必要

大多數強化學習基準在每個回合後重置環境，但真實企業運營從不重置。Skyfall AI 的 MORPHEUS 旨在填補這一空白，它是一個面向持續強化學習（CRL）的持久企業模擬平臺。

MORPHEUS 基於 Javed 和 Sutton（2024）提出的“大世界假說”，該假說認為世界的複雜性超過了任何智慧體的表徵能力，導致即使動態固定，環境也呈現出非平穩性。為了強制進行持續學習，MORPHEUS 要求三個特性：永續性（歷史決策會複合影響未來動態）、非平穩性（任何固定策略最終都會變得次優）和操作複雜性（不存在固定的最優策略）。

每個環境都是一個自包含的 TypeScript 世界外掛，輸出操作描述符（OD）、模擬排程器、種子資料和文件。OD 定義了能力的逐步執行計劃。智慧體透過能力 API 行動，每次呼叫觸發一次 OD 執行。非平穩性來自兩個引擎：故障注入引擎在 OD 步驟之間插入型別化中斷，涵蓋 11 種故障型別，以四種預設速率執行；非同步配置轉移控制器在固定時間戳更改故障預設和需求，獨立於訓練迴圈，防止智慧體利用更新週期性作為代理時鐘。獎勵來自三個本機記錄的操作驗證器：故障事件訊號、財務賬簿狀態和資源吞吐量，複合獎勵使用預設權重 w_f=0.5, w_l=w_p=0.25。

由於動作空間很大，純強化學習從零開始不切實際。MORPHEUS 使用兩階段流程：前沿模型（Gemini 3.1 pro）使用 ReAct 框架收集軌跡，然後透過監督微調（SFT）對 Qwen3-14B 進行微調。所有強化學習執行都從共享的 SFT 檢查點開始，隔離持續學習行為與基本操作能力。所有基線使用 PPO 作為線上後訓練的基礎最佳化器。

研究團隊提出了六指標評估協議，包括每配置獎勵、適應速度、遺忘、恢復時間、穩定性和效能差距。其中適應速度是首要指標，衡量執行平均獎勵達到上限一半所需的步數。補充診斷包括相對適應優勢（RAA）和透過有效秩衡量的可塑性。

從共享 SFT 檢查點測試了四種演算法族：PPO（無 CL 機制）、HER（後見重放）、EWC（權重鞏固）和 LCM（潛在上下文模型）。定義了兩種任務：任務1為結構漂移下的動態資源分配，任務2為延遲效應下的排程。結果沒有單一族佔優。在任務1上，EWC 獎勵最高，LCM 適應最快。在任務2上，HER 獎勵最高，而 LCM 在延遲獎勵下失去優勢。所有方法的平均效能差距接近1.0，表明存在大的穩定態缺陷。PPO 和 HER 通常只在第一個配置中適應，後續階段失敗。

MORPHEUS 適合多種角色：AI 工程師可測試智慧體是否能在無標籤訊號下檢測制度轉移；資料科學家可測試延遲信用分配；軟體工程師可利用 TypeScript 外掛格式靈活修改獎勵或觀察性。

優勢包括持久世界不重置、可引數化的可重現制度轉移、基於操作驗證器的本機獎勵、開源評估程式碼。弱點包括僅評估了五個環境中的兩個、上限假設零故障導致樂觀、轉移是外部觸發而非決策複合驅動、獎勵權重是研究變數而非經過驗證的行業目標。

關鍵要點：MORPHEUS 執行永不重置的持久企業世界；包含五個環境，本文評估了兩個；六指標協議評分；四種基線均遠低於理論上限；沒有單一演算法在所有方面勝出。更多資訊見論文和專案頁面。