Skyfall AI 发布 MORPHEUS：一种持久企业模拟基准，使持续强化学习在结构化非平稳性下成为必要

大多数强化学习基准在每个回合后重置环境，但真实企业运营从不重置。Skyfall AI 的 MORPHEUS 旨在填补这一空白，它是一个面向持续强化学习（CRL）的持久企业模拟平台。

MORPHEUS 基于 Javed 和 Sutton（2024）提出的“大世界假说”，该假说认为世界的复杂性超过了任何智能体的表征能力，导致即使动态固定，环境也呈现出非平稳性。为了强制进行持续学习，MORPHEUS 要求三个特性：持久性（历史决策会复合影响未来动态）、非平稳性（任何固定策略最终都会变得次优）和操作复杂性（不存在固定的最优策略）。

每个环境都是一个自包含的 TypeScript 世界插件，输出操作描述符（OD）、模拟调度器、种子数据和文档。OD 定义了能力的逐步执行计划。智能体通过能力 API 行动，每次调用触发一次 OD 执行。非平稳性来自两个引擎：故障注入引擎在 OD 步骤之间插入类型化中断，涵盖 11 种故障类型，以四种预设速率运行；异步配置转移控制器在固定时间戳更改故障预设和需求，独立于训练循环，防止智能体利用更新周期性作为代理时钟。奖励来自三个本机记录的操作验证器：故障事件信号、财务账簿状态和资源吞吐量，复合奖励使用默认权重 w_f=0.5, w_l=w_p=0.25。

由于动作空间很大，纯强化学习从零开始不切实际。MORPHEUS 使用两阶段流程：前沿模型（Gemini 3.1 pro）使用 ReAct 框架收集轨迹，然后通过监督微调（SFT）对 Qwen3-14B 进行微调。所有强化学习运行都从共享的 SFT 检查点开始，隔离持续学习行为与基本操作能力。所有基线使用 PPO 作为在线后训练的基础优化器。

研究团队提出了六指标评估协议，包括每配置奖励、适应速度、遗忘、恢复时间、稳定性和性能差距。其中适应速度是首要指标，衡量运行平均奖励达到上限一半所需的步数。补充诊断包括相对适应优势（RAA）和通过有效秩衡量的可塑性。

从共享 SFT 检查点测试了四种算法族：PPO（无 CL 机制）、HER（后见重放）、EWC（权重巩固）和 LCM（潜在上下文模型）。定义了两种任务：任务1为结构漂移下的动态资源分配，任务2为延迟效应下的调度。结果没有单一族占优。在任务1上，EWC 奖励最高，LCM 适应最快。在任务2上，HER 奖励最高，而 LCM 在延迟奖励下失去优势。所有方法的平均性能差距接近1.0，表明存在大的稳定态缺陷。PPO 和 HER 通常只在第一个配置中适应，后续阶段失败。

MORPHEUS 适合多种角色：AI 工程师可测试智能体是否能在无标签信号下检测制度转移；数据科学家可测试延迟信用分配；软件工程师可利用 TypeScript 插件格式灵活修改奖励或观察性。

优势包括持久世界不重置、可参数化的可重现制度转移、基于操作验证器的本机奖励、开源评估代码。弱点包括仅评估了五个环境中的两个、上限假设零故障导致乐观、转移是外部触发而非决策复合驱动、奖励权重是研究变量而非经过验证的行业目标。

关键要点：MORPHEUS 运行永不重置的持久企业世界；包含五个环境，本文评估了两个；六指标协议评分；四种基线均远低于理论上限；没有单一算法在所有方面胜出。更多信息见论文和项目页面。