本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

ImageWAM:世界行動モデルは本当に動画生成が必要なのか、それとも画像編集だけで十分か?

記事の要約

ImageWAMは、ロボット行動予測に事前学習済み画像編集モデルを再利用することで、動画ベースの世界行動モデルが抱える推論コストの高さ、行動に無関係な詳細への容量消費、長期的誤差蓄積を回避する。シミュレーションと実世界実験でVLAベースラインや競合WAMを上回り、FLOPsを1/6、レイテンシを1/4に削減する。

ソースarXiv Computer Vision著者: Yuyang Zhang, Wenyao Zhang, Zekun Qi, He Zhang, Haitao Lin, Jingbo Zhang, Yao Mu, Xiaokang Yang, Wenjun Zeng, Xin Jin
ImageWAM:世界行動モデルは本当に動画生成が必要なのか、それとも画像編集だけで十分か?
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

世界行動モデル(WAM)は、視覚的世界モデリングとロボット制御を橋渡しするために動画生成に依存することが一般的です。しかし、動画ベースのWAMには3つの相互に関連する制約があります。密な複数フレームの将来トークンにより推論コストが高くなること、完全な動画予測が行動に無関係な時間的・外観的詳細に容量を費やすこと、長期的な将来想像が誤差を導入し行動予測を誤らせる可能性があることです。これらの問題は、「世界行動モデルは本当に動画生成を必要とするのか?」という単純な疑問を提起します。

arXivの最新論文「ImageWAM: Do World Action Models Really Need Video Generation, or Just Image Editing?」は、これに否定的な回答を与えます。著者らはImageWAMを提案します。これは、事前学習済み画像編集モデルをロボット行動予測に再利用するシンプルなWAMフレームワークです。動画生成とは対照的に、画像編集はより適合した事前分布を提供します。つまり、目標フレームへの変換のみをモデル化し、行動に関連する現在から目標への視覚的差異に焦点を当て、編集事前学習を通じてタスク指示を局所的な視覚変化に接地させます。

実際には、ImageWAMは推論時に目標フレームをデコードしません。代わりに、画像編集デノイジングによって生成されたKVキャッシュをコンパクトな世界行動コンテキストとして使用し、フローマッチング行動エキスパートに条件付けます。この設計により、動画生成における将来フレームのデコードオーバーヘッドを回避しつつ、編集モデルの視覚変化に対する理解を保持します。

実験結果は、ImageWAMが異なるシミュレータと実世界実験で、標準VLAベースラインおよび対応する競合WAMを上回ることを示しています。追加のポリシー事前学習は不要です。効率面では、ImageWAMはFLOPsを動画ベースWAMの1/6に、レイテンシを1/4に削減します。アテンション分析はさらに、編集キャッシュがタスクに関連する変化領域に集中することを示し、動画ベースの世界行動モデリングに対する有効な代替としての画像編集を支持します。

本論文はYuyang Zhangら10名の著者によって2026年6月17日にarXivに提出され、コンピュータビジョンとパターン認識(cs.CV)およびロボティクス(cs.RO)に分類されています。プロジェクトページで詳細が公開されています。この研究は、WAMが動画生成に依存するという既定の仮定に挑戦し、効率的なロボット制御への新たな道筋を示しています。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • ImageWAMは推論時に将来フレームをデコードせず、画像編集デノイジングのKVキャッシュをコンパクトな世界行動コンテキストとしてフローマッチング行動エキスパートに条件付ける。
  • 画像編集は動画生成よりもマッチした事前分布を提供する:目標フレームへの変換のみをモデル化し、行動に関連する視覚的変化に焦点を当てる。
  • シミュレーションと実世界の実験で、追加のポリシー事前学習なしに標準VLAベースラインと競合WAMを上回る。
  • 効率性が大幅に向上:動画ベースWAMと比較してFLOPsは1/6、レイテンシは1/4。アテンション分析は編集キャッシュがタスク関連の変化領域に集中することを示す。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。