研究チーム（Zeyuan Dingら）は、Pelican-VLA 0.5を発表しました。これは視覚言語理解、未来フレーム生成、動作予測を単一のアーキテクチャに統合した統一的な視覚-言語-行動（VLA）モデルです。このモデルの中心的な革新は、知覚モジュールと行動モジュールの間に挿入された学習可能な推論スロット（Reasoning Slots）です。これらのスロットはコンパクトなボトルネックとして機能し、タスク関連の視覚情報をルーティングすることで、事前学習中に操作中心の注意を自動的に誘導します。その結果、モデルは注意レベルの汎化を達成します。
具体的には、Pelican-VLA 0.5の行動経路は、オブジェクト注釈、セグメンテーションマスク、注意監督、タスク固有の微調整を一切行わなくても、指示に関連するオブジェクトと接触領域に焦点を当てることができます。この能力は、訓練済みのシーンだけでなく、完全に未知のシーンや異なるロボットの形態にも一般化されます。実験では、Pelican-VLA 0.5は注意の焦点精度と一貫性において、RT-2やOctoなどの他のオープンソースVLAベースラインモデルを大幅に上回ることが示されました。
研究ではまた、この汎化能力が推論スロットの設計に起因することも検証されました。知覚と行動の間に情報ボトルネックを強制することで、モデルはどの視覚情報がタスクにとって最も重要かを学習せざるを得なくなります。推論スロットは、MoTスタイルのアーキテクチャを含むさまざまなポリシー構造で有効であり、その強力なロバスト性を示しています。さらに、このモデルは複数のロボット操作ベンチマークで優れた性能を発揮し、シミュレーションから実世界へのゼロショット転送能力を示しました。
この研究は、指示を真に理解し新しい環境に汎化できるロボットモデルを構築するための新たな道を開き、少数ショットやゼロショットシナリオでのロボット学習の進展に貢献することが期待されます。今後、チームはPelican-VLAをさらに多モーダル化し、より複雑なタスクに拡張することで、その汎用性と実用性を高める予定です。