arXiv 在2026年7月8日發表了一項新研究，介紹了一種名為 GemNav 的視覺機器人導航策略。這項工作由 Peter Bohm 及其同事完成，旨在挑戰當前視覺導航策略的主流正規化。傳統方法通常依賴專用視覺編碼器、定製動作頭以及數千小時的跨本體資料集訓練，而 GemNav 則探索了一種更簡潔的途徑。
GemNav 的核心創新在於它適配了一個凍結的多模態大語言模型（MLLM），僅透過低秩適應（LoRA）在語言塔上進行微調，無需引入輔助視覺編碼器或連續迴歸頭。路徑點和分類導航訊號共享一個由語言模型頭生成的離散令牌詞彙表，並透過軟解碼輔助損失來恢復純交叉熵訓練可能丟失的度量結構。這種設計使得模型能夠利用 MLLM 強大的語言理解能力，同時避免了傳統方法中複雜的視覺特徵提取和迴歸頭設計。
在訓練資料方面，GemNav 僅使用了8.7小時的開放語料庫，這比競爭性訓練集小了大約三個數量級。儘管資料量有限，該策略展示了強大的泛化能力：它零樣本遷移到四個物理上截然不同的新環境，包括開放停車場、有障礙物的停車場、戶外長化學倉庫以及室內倉庫。在20次真實世界試驗中，機器人最終停止在距離目標0.25至0.42米的位置，這證明了其在實際應用中的可靠性。
有趣的是，研究人員還發現，對短影像歷史進行條件化可以改善離線度量指標，但並未給實際機器人帶來好處。這指出，一旦有了預訓練視覺特徵，時間上下文的作用存在一個上限。實驗結果表明，離散令牌適應凍結 MLLM 的方法可以成為基礎模型機器人導航的一種資料高效且可部署的替代方案。
這項研究為機器人導航領域提供了一種新思路，即如何有效利用大型語言模型而無需大量定製和昂貴的訓練資料。GemNav 的簡單性和有效性可能推動未來更多將預訓練語言模型用於具身智慧的研究，同時也為降低機器人導航系統的部署成本提供了可能。