近年、複雑な物理システムに対する学習ベースの制御手法が広く研究されているが、その多くは明確な目標や報酬信号に依存している。しかし、現実の多くのシナリオでは、あらゆる可能な目標を事前に定義することは非現実的である。この問題に対処するため、Jonathan Gallagher氏らは偏微分方程式(PDE)に対する目標非依存の制御フレームワークを提案した。このフレームワークはジョイント埋め込み予測アーキテクチャ(JEPA)を中心に構築されており、arXivにプレプリントとして公開され、今後のバージョンでコードがオープンソース化される予定である。
提案フレームワークの中核は、小型2Dビジョントランスフォーマ(ViT)エンコーダと行動条件付き潜在動力学モデルである。これらは報酬や下流目標を一切必要とせず、オフラインで訓練される。訓練後、モデルは凍結され、モデル予測経路積分(MPPI)コントローラによって再利用される。この設計により、コントローラは再訓練なしで様々な制御目標に適応できる。
研究の重要な発見は、制御目標が利用可能な場合、それを明確な物理的可観測量(単射性を条件とする)に適用することが、潜在空間でユークリッド距離(L²)を最小化するよりも効果的であることである。具体的には、著者らは凍結された潜在軌道上に線形運動エネルギー(KE)プローブを学習させ、その軌道をR²=0.989の精度で再現することに成功した。基礎となる世界モデルを変更する必要はない。これは、較正された可観測量を用いることで、潜在動力学が動的かつ目標非依存的であり続けることを示している。
PDE Control Gymの2D Navier-Stokesベンチマークにおいて、運動エネルギープローブ計画は50エピソードのネイティブ報酬を潜在L²計画の-12.08±0.86から-10.90±0.91(95%信頼区間)に改善し、後半四半期の速度場RMSEを0.0765から0.0692に低減した。さらに、意図的に保持された3つの異なる非周期目標に対して、運動エネルギー計画は後半場RMSEを53%低減し(0.0220対0.0469)、全30ペアのエピソードで勝利した。また、同じ凍結モデルは運動エネルギー直接調整による定常配置への安定化制御もサポートし、平均相対誤差2.7%を達成した。
これらの成果にもかかわらず、研究では限界も指摘されている。潜在プローブは測定ノイズや欠損ピクセルに対して脆弱である。しかし、著者らは結果が彼らの主張——潜在動力学は動的かつ目標非依存的であり続けることができ、較正された可観測量(一意な continuation が保証されれば)が状態制御のより良い目標となる——を支持していると考える。この研究は、目標非依存のPDE制御に対する新たな有効なアプローチを提供する。