本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

シーンに飛び込む:フォーカスプラン生成による視覚言語意思決定の知覚ボトルネックの打破

記事の要約

SceneDiverは、全体的なシーングラフを構築し、タスクを反復的に分解する粗から細へのフォーカスプラン生成手法を提案し、VLMとVLAの視覚的幻覚を大幅に削減しつつ計算効率を維持する。

ソースarXiv Computer Vision著者: Boyuan Xiao, Bohong Chen, Yumeng Li, Ji Feng, Yao-Xiang Ding, Kun Zhou
シーンに飛び込む:フォーカスプラン生成による視覚言語意思決定の知覚ボトルネックの打破
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

ロボット操作やナビゲーションといった身体性を伴う視覚言語意思決定タスクにおいて、視覚言語モデル(VLM)と視覚言語行動モデル(VLA)は強力な手段だが、それぞれ得意分野が異なる。VLM は長期的な計画立案に優れ、VLA は反応的な制御に優れている。しかし両者は同一の知覚上のボトルネックに悩まされている。すなわち、タスクに関係する物体と妨害物とを区別できないために視覚的ハルシネーションが生じるのだ。原理的には、重要な物体を正確に特定して焦点を当て、無関係な情報を除外することがこの制限を打ち破る鍵となる。最も単純な解決策は「ワンステップ・フォーカス」、つまり本質的な物体へ直接注意を向けることだが、有効なフォーカスには本質的に深いシーン理解が必要とされるため、この手法は効果が限られることが示されている。

そこで著者らは SceneDiver を提案する。これは VLM の長期計画能力を活かした粗から細へのフォーカス計画生成手法であり、まず全体的なシーングラフを構築して初期理解を確立し、その後「認識・理解・分析」の反復サイクルを通じてタスクをより単純な部分問題へと段階的に分解していく。さらに反応的制御を可能にするため、こうした熟慮的なフォーカス能力を VLA へ蒸留する軽量アダプタも設計されている。

論文は「Dive into the Scene: Breaking the Perceptual Bottleneck in Vision-Language Decision Making via Focus Plan Generation」と題され、Boyuan Xiao 氏ら計 6 名の著者によって執筆された。2026 年 6 月 2 日に arXiv へ投稿され(番号 arXiv:2606.04046、v1 は同日 07:50:56 UTC に公開、ファイルサイズ 3,070 KB)、ICML 2026 に採択されている。研究分野はコンピュータビジョンとパターン認識(cs.CV)、人工知能(cs.AI)、計算と言語(cs.CL)、機械学習(cs.LG)、ロボティクス(cs.RO)にまたがる。

標準的な身体性 AI ベンチマークでの評価により、本手法は VLM と VLA の双方で視覚的ハルシネーションを大幅に削減しつつ、高速実行が求められるタスクでも計算効率を維持することが確認された。コードとデータは https://future-item.github.io/SceneDiver で公開されており、論文は PDF、実験用 HTML 版、TeX ソースなどの形で閲覧できる。

要点と分析を開く

記事インテリジェンス

投資家上級

要点

  • SceneDiverはVLMの長期計画能力を活用し、シーングラフで初期理解を確立し、タスクを反復的に分解する。
  • 軽量アダプターにより、意図的なフォーカス能力をVLAに蒸留し、反応制御を可能にする。
  • 標準的な身体性AIベンチマークで、VLMとVLAの両方の視覚的幻覚を大幅に削減し、高速実行タスクでの計算効率を維持することを確認。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。