本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

JEPAスタイル世界モデルのためのスペクトルターゲット物理潜在構造化

記事の要約

潜在世界モデルにおける「物理表現の怠惰」という新たな失敗モードを特定し、軽量なフーリエ補助ヘッドによる訓練時補助監督で潜在空間に物理構造を導入する手法を提案。推論コストを増やさずに動的環境や低データ環境での計画成功率とデータ効率を改善する。

ソースarXiv Machine Learning著者: Penghao Zhu, Salvatore Penachio, Kaustav Mukherjee, Aneesh Jonelagadda
JEPAスタイル世界モデルのためのスペクトルターゲット物理潜在構造化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

潜在世界モデルは、ピクセル空間ではなく潜在空間で予測や計画を行うアプローチとして近年重要性を増している。LeWorldModel(LeWM)などの最近のアーキテクチャでは、SIGRegに代表される正則化によってエンコーダと予測器を共同で訓練し、表現の崩壊を防いでいる。しかし、本論文の著者らは、たとえ表現の崩壊が防がれていても、特に動的な環境において「物理表現の怠惰」という新たな失敗モードが発生することを見いだした。この状態では、学習された潜在表現は崩壊していないものの、重要な物理的特性を適切に表現できず、その結果として下流の計画タスクが広く失敗してしまう。

この問題を解決するため、著者らは訓練時のみに機能する軽量な「フーリエ補助ヘッド」を提案している。これは潜在空間に物理的に意味のある構造を強制的に導入する補助監督であり、推論時の追加コストを一切必要とせず、あらゆる環境に一般化できる。実験では、ベースラインのLeWMが物理表現の怠惰を示す動的な環境条件において、補助ヘッドによって計画成功率が大幅に向上することが確認された。また、ベースラインがそのような怠惰を示さない環境でも、適度な改善効果が見られた。さらに、計画性能の向上に伴って、潜在空間と主要な物理特性との間の相関が高まっていることも観察された。この結果は、提案手法が潜在状態を物理的に構造化するだけでなく、学習された表現の物理的構造が計画側にも利益をもたらすことを示唆している。

加えて、データが少ない低データ環境では、補助監督が成功率の向上に特に顕著な効果を発揮した。著者らは、フーリエ補助ヘッドが全体的な成功率とデータ効率の両方を改善し、潜在世界モデルにおける表現の怠惰を回避する上で有用であると結論付けている。本論文は2026年9月2日にarXivへ投稿され、9ページ・4図からなる内容であり、機械学習(cs.LG)分野に分類されている。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 表現崩壊を防いだ場合でも、動的環境では潜在世界モデルに「物理表現の怠惰」が生じ得る。
  • 軽量なフーリエ補助ヘッドが訓練時に潜在空間へ物理的な構造を課し、推論時には追加コストがかからない。
  • 動的環境や低データ環境で計画成功率が向上し、潜在空間と物理特性の相関も高まることが実験で示された。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。