2026年7月8日にarXivに発表された研究で、Peter Bohm氏とその共同研究者らは、GemNavと呼ばれる新しい視覚ロボットナビゲーションポリシーを紹介しました。この研究は、現在の視覚ナビゲーションポリシーの主流パラダイムに挑戦するものです。従来の手法は通常、専用の視覚エンコーダ、カスタムアクションヘッド、および数千時間のクロスエンボディメントデータセットに依存していますが、GemNavはよりシンプルなアプローチを模索しています。
GemNavの核心的な革新は、補助的な視覚エンコーダや連続回帰ヘッドを導入せずに、凍結されたマルチモーダル大規模言語モデル（MLLM）を言語タワーのみに低ランク適応（LoRA）で適応させる点にあります。ウェイポイントとカテゴリカルなナビゲーション信号は、言語モデルヘッドによって生成された単一の離散トークン語彙を共有し、ソフトデコードされた補助損失が、純粋なクロスエントロピートレーニングでは失われる計量構造を回復します。
トレーニングデータに関しては、GemNavはわずか8.7時間のオープンコーパスを使用しており、これは競合するトレーニングセットよりも約3桁小さいサイズです。限られたデータ量にもかかわらず、このポリシーは強力な一般化能力を示しました。すなわち、開放駐車場、障害物のある駐車場、屋外の長い化学ヤード、屋内倉庫という、物理的に異なる4つの未見環境にゼロショット転送されました。20回の実世界試行において、ロボットは目標から0.25～0.42メートルの範囲内で停止しました。
興味深いことに、研究者らは、短い画像履歴の条件付けがオフラインメトリクスを改善する一方で、実際のロボットには利益をもたらさないことも発見しました。これは、事前学習された視覚特徴が整った後では、時間的文脈が追加できる効果に上限があることを示しています。実験結果は、凍結MLLMの離散トークン適応が、基礎モデルロボットナビゲーションのためのデータ効率が高く、展開可能な代替手段を提供することを示しています。
この研究は、大規模言語モデルを効果的に活用する方法についての新たな視点をロボットナビゲーション分野に提供し、大量のカスタマイズや高価なトレーニングデータを必要としません。GemNavのシンプルさと有効性は、今後、具現化されたインテリジェンスのために事前学習された言語モデルを活用するさらなる研究を促進する可能性があります。