CLAP: 言語-行動の接地によるVLMからVLAへの直接適応

CLAP（Causal Language-Action Prediction）は、事前学習済みの視覚言語モデル（VLM）を最小限のアーキテクチャ変更で視覚言語行動モデル（VLA）に変換する新しい手法です。ロボット学習の分野では、VLAモデルは大規模なロボットデータによる追加学習とアーキテクチャ変更を伴うことが多く、その結果、元のVLMのバックボーンが大きく変形され、VLM自体が制御にどの程度寄与しているかを評価することが困難になります。CLAPの核心的な洞察は、行動を裸の数値トークン系列として予測すると、出力分布がVLMの事前学習済み言語分布から乖離し、モデルの言語理解能力が損なわれるという点です。この問題に対処するため、CLAPは各数値行動系列の前に自然言語による行動記述を前置し、正確な行動トークン予測を言語行動計画に因果的に依存させます。これにより、バックボーンアーキテクチャを変更することなく、単一エポックのファインチューニングだけで優れた性能を達成できます。さらに、言語記述を前置することで、モデルは動作生成の際にまず言語計画を考慮し、動作と意味の一貫性を確保します。2BパラメータのCLAPモデルは、LIBEROベンチマークで90.8%の精度を達成し、VLA-0を14.9ポイント上回りました。また、LIBERO-PROの評価において、言語指示の変更、物体の交換、環境の空間配置の摂動など、様々な干扰に対してCLAPは強いロバスト性を示しました。東京大学などの研究チームは、0.8B、2B、4Bの3つの異なる規模のオープンウェイトモデルを公開する予定です。これらのモデルはすべて同一のVLM系統に基づいており、VLMからVLAへの能力転移の制御された分析を可能にします。この研究は、ロボット制御におけるモデル適応の効率的な経路を提供するだけでなく、大規模視覚言語モデルの能力転移メカニズムの理解を深めるものです。CLAPは、ロボットが複雑な指示を理解し実行する能力を大幅に向上させる可能性を秘めており、今後のロボット工学における言語と行動の融合に新たな道を開くことが期待されます。