GemNav: 使用多模态大语言模型的离散令牌视觉机器人导航
GemNav 是一种新的视觉机器人导航策略，它通过仅对语言塔进行低秩适应（LoRA）来适配冻结的多模态大语言模型（MLLM），无需专用视觉编码器或连续回归头。该策略使用离散令牌词汇表表示路径点和导航信号，并通过软解码辅助损失恢复度量结构。在仅8.7小时的开放语料库上训练后，GemNav 能够零样本迁移到四个未见过的物理环境，在20次真实世界试验中停止在目标0.25-0.42米范围内。结果表明，冻结 MLLM 的离散令牌适应为基于基础模型的机器人导航提供了一种数据高效、可部署的替代方案。
arXiv 在2026年7月8日发表了一项新研究，介绍了一种名为 GemNav 的视觉机器人导航策略。这项工作由 Peter Bohm 及其同事完成，旨在挑战当前视觉导航策略的主流范式。传统方法通常依赖专用视觉编码器、定制动作头以及数千小时的跨本体数据集训练，而 GemNav 则探索了一种更简洁的途径。
GemNav 的核心创新在于它适配了一个冻结的多模态大语言模型（MLLM），仅通过低秩适应（LoRA）在语言塔上进行微调，无需引入辅助视觉编码器或连续回归头。路径点和分类导航信号共享一个由语言模型头生成的离散令牌词汇表，并通过软解码辅助损失来恢复纯交叉熵训练可能丢失的度量结构。这种设计使得模型能够利用 MLLM 强大的语言理解能力，同时避免了传统方法中复杂的视觉特征提取和回归头设计。
在训练数据方面，GemNav 仅使用了8.7小时的开放语料库，这比竞争性训练集小了大约三个数量级。尽管数据量有限，该策略展示了强大的泛化能力：它零样本迁移到四个物理上截然不同的新环境，包括开放停车场、有障碍物的停车场、户外长化学仓库以及室内仓库。在20次真实世界试验中，机器人最终停止在距离目标0.25至0.42米的位置，这证明了其在实际应用中的可靠性。
有趣的是，研究人员还发现，对短图像历史进行条件化可以改善离线度量指标，但并未给实际机器人带来好处。这指出，一旦有了预训练视觉特征，时间上下文的作用存在一个上限。实验结果表明，离散令牌适应冻结 MLLM 的方法可以成为基础模型机器人导航的一种数据高效且可部署的替代方案。
这项研究为机器人导航领域提供了一种新思路，即如何有效利用大型语言模型而无需大量定制和昂贵的训练数据。GemNav 的简单性和有效性可能推动未来更多将预训练语言模型用于具身智能的研究，同时也为降低机器人导航系统的部署成本提供了可能。