跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

ViTL:基于时序逻辑引导的视觉语言模型零样本自然语言导航

文章摘要

ViTL 提出一种两层框架,利用大语言模型将自然语言指令编译为线性时序逻辑公式并转化为确定性有限自动机,再用视觉语言模型的方向性打分引导前沿探索,从而首次实现带时序约束的零样本长程多目标导航。

来源arXiv Robotics作者: Kaier Liang, Hengde Dai, Cristian-Ioan Vasile
ViTL:基于时序逻辑引导的视觉语言模型零样本自然语言导航
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

让机器人在未知环境中听从自然语言指令、零样本地完成长程任务,一直是具身智能领域的难点。这类任务要求系统从一句看似简单的命令中提取隐含的时序与逻辑约束,并据此按顺序执行多个子任务。现有基于视觉语言模型(VLM)的零样本目标导航方法,通常通过引导前沿探索来寻找目标,但它们只能处理单一目标。而像“把椅子或沙发打扫一下,然后打开电视”这样的真实指令,需要在时间上受约束的顺序中依次抵达多个目标,目前还没有零样本系统能够胜任。

为此,Kaier Liang 等作者提出 ViTL 框架,在任务层与导航层两个层面同时攻克这一缺口。该论文于 2026 年 6 月 29 日提交至 arXiv,编号 2606.30696,归属机器人学(cs.RO)分类,同时涉及计算与语言(cs.CL)和机器学习(cs.LG)。

在任务层,ViTL 借助大语言模型把自然语言命令编译成线性时序逻辑(Linear Temporal Logic,LTL)公式。LTL 能够精确表达“先做 A 再做 B”“A 或 B 二选一”这类时序与逻辑关系。随后,这些公式被转换为确定性有限自动机(DFA)。DFA 充当协调中枢,统一调度多通道价值图,并在探索过程中检测到新物体时触发动态重规划,使机器人能够在执行途中根据新观测调整后续行动顺序。

在导航层,作者提出了“方向性打分”(directional score)。传统的做法是让 VLM 对整个视野输出一个与方向无关的价值,而 ViTL 改为在观测图像上标注各个前沿方向,再从 VLM 中提取每个方向各自的分数。这样得到的导航信号更细致,机器人可以更明确地判断应该朝哪个方向探索。

研究团队在 Habitat-Matterport 3D(HM3D)仿真环境中进行了实验,结果表明:完整框架能够零样本地完成带时序约束的自然语言长程导航任务;同时,方向性打分相较基线方法提升了单目标导航的准确率与效率。这意味着 ViTL 不仅在复杂多目标任务上填补了空白,也对基础的单目标任务带来了实质改进。论文提供了 PDF 与实验性 HTML 版本,并附有 TeX 源码与引用信息。

展开要点与分析

文章情报

工程师进阶

要点

  • 用 LLM 把自然语言指令编译成线性时序逻辑(LTL)并转为 DFA,以协调多通道价值图并触发动态重规划
  • 提出 directional score,在观测图像上标注前沿方向并提取逐方向分数,替代对整个视野的无方向价值评估
  • 在 HM3D 上验证了带时序约束的零样本长程导航,且方向性打分提升了单目标导航的准确率与效率

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。