Skyfall AI、MORPHEUSをリリース：構造化非定常性下で継続的強化学習を必要とする永続的エンタープライズシミュレーションベンチマーク

ほとんどの強化学習ベンチマークはエピソードごとに環境をリセットしますが、実際の運用はリセットされません。Skyfall AIのMORPHEUSはそのギャップをターゲットにしており、継続的強化学習（CRL）のための永続的なエンタープライズシミュレーションプラットフォームです。

MORPHEUSはJaved＆Sutton（2024）の「Big World Hypothesis」に基づいています。これは、世界の複雑さがエージェントの表現能力を超えるため、固定されたダイナミクスであっても環境が非定常に見えることを示しています。継続的学習を強制するために、MORPHEUSは永続性（過去の決定が将来のダイナミクスに複合する）、非定常性（固定ポリシーは最終的に最適でなくなる）、運用の複雑さ（固定の最適ポリシーは存在しない）の3つの特性を必要とします。

各環境は自己完結型のTypeScriptワールドプラグインであり、オペレーショナルディスクリプタ（OD）、シミュレーションスケジューラ、シードデータ、ドキュメントをエクスポートします。ODは能力のステップごとの実行計画を定義します。エージェントは能力APIを通じて行動し、各呼び出しがOD実行をトリガーします。非定常性は2つのエンジンから生じます。まず、障害注入エンジンがODステップ間に型付けされた中断を挿入します。11の障害タイプから引き出し、4つのプリセットレート（軽度5%、現実的8%、中程度15%、積極的30%）で実行されます。

次に、非同期構成シフトコントローラーが固定タイムスタンプで障害プリセットと需要を変更します。トレーニングループとは独立して実行されるため、シフトが勾配更新と一致することはなく、エージェントが更新周期性をプロキシクロックとして使用するのを防ぎます。報酬は、プラットフォームによってネイティブに記録される3つの運用検証器（障害イベント信号、財務台帳ステータス、リソーススループット）から得られます。複合報酬はデフォルトの重みw_f=0.5、w_l=w_p=0.25を使用します。

アクション空間が大きいため、スクラッチからの純粋なRLは非現実的です。そのため、MORPHEUSは2段階のパイプラインを使用します。フロンティアモデル（Gemini 3.1 pro）がReActフレームワークを使用して軌跡を収集し、これらのトレースが教師あり微調整（SFT）を介してQwen3-14Bを微調整します。これにより、すべてのRL実行はこの共有SFTチェックポイントから開始され、継続的学習行動を基本的な運用能力から分離します。すべてのベースラインはオンライン後訓練の基本オプティマイザーとしてPPOを使用します。

研究チームは6つのメトリクス評価プロトコルを提案しています：構成ごとの報酬、適応速度、忘却、回復時間、安定性、パフォーマンスギャップ。適応速度は主要メトリクスであり、実行平均報酬が上限の半分に達するまでのステップ数をカウントします。2つの補足診断として、相対適応優位性（RAA）と実効ランクによる可塑性も追跡します。

共有SFTチェックポイントから4つのアルゴリズムファミリー（PPO、HER、EWC、LCM）をテストしました。タスク1は構造的ドリフト下での動的リソース割り当て、タスク2は遅延効果を伴うスケジューリングです。結果、単一のファミリーが支配することはありませんでした。タスク1ではEWCが報酬でリードし、LCMが最も速く適応しました。タスク2ではHERが報酬でリードする一方、LCMは遅延報酬下で優位性を失いました。すべての方法で平均パフォーマンスギャップは約1.0であり、大きな定常状態の欠陥を示しています。PPOとHERは通常、最初の構成でのみ適応し、その後のレジームではラベル信号がなくても適応に失敗します。

実際には、MORPHEUSはいくつかの読者の役割に適しています。AIエンジニアにとっては、エージェントがラベルなしでレジームシフトを検出するかどうかをテストします。データサイエンティストにとっては、遅延クレジット割り当てを強調します。ソフトウェアエンジニアにとっては、TypeScriptプラグイン形式により、ダイナミクスを変更せずに報酬を交換したり観測可能性を切り替えたりできます。

強み：リセットのない永続的な世界、パラメータ化可能で再現可能なレジームシフト、運用検証器からのネイティブ報酬、オープンソースの評価コード。弱み：5つの環境のうち2つしか評価されていない、上限がゼロ障害を想定して楽観的、シフトが外部トリガーであり決定の複合によって駆動されない、報酬重みが研究変数であり検証された業界目標ではない。

主要なポイント：MORPHEUSはエピソードRLベンチマークとは異なり、リセットされない永続的なエンタープライズ世界を実行します。5つの環境を提供し、ここでは2つを評価しました。6メトリクスプロトコルでスコアリングします。4つのベースラインはすべて理論上の上限をはるかに下回っています。単一のアルゴリズムがすべての面で勝つわけではありません。詳細は論文とプロジェクトページをご覧ください。