在开放世界中，仅凭稀疏的语言指令进行无地图导航是一项极具挑战性的任务。机器人需要理解那些未明确指定的目标，并推断出哪些环境线索对于到达目的地至关重要。例如，当目标位于视野之外时，机器人可能需要解读坡道、标志或绕行路线，以确定前进方向或选择正确的路径。以往的研究往往受限于对已知导航因素的依赖和封闭的因子类别，或者在运动规划之前就识别线索，从而错过了与计划相关的线索。针对这些问题，来自德克萨斯大学奥斯汀分校等机构的研究者提出了 Foresight，一个测试时框架，利用预训练的视觉语言模型（VLM）来发现新颖的指令相关线索，并通过适应使其聚焦于哪些线索重要以及如何影响运动规划。
Foresight 的核心思想是让一个微调后的 VLM 在图像空间中交替进行运动计划的提议和批评。具体来说，模型首先根据语言目标和视觉上下文生成一个初步的运动计划，然后对该计划进行批评，指出其中可能忽略的关键线索或潜在问题。后续的计划将基于之前的批评进行条件化生成，从而在执行前实现迭代式的运动细化。为了使得计划的批评和改进与开放集的行为偏好对齐，研究者从人类反馈中学习了一个奖励模型，并利用强化学习在计划-批评循环中对 VLM 进行后训练。这样，模型不仅能够发现线索，还能学会如何根据人类的偏好来调整计划。
在离线评估和六个真实世界环境中，Foresight 相较于最先进的测试时推理和基础模型基线，平均任务成功率提高了 37%，每次任务的干预次数减少了 52%，并且能够在 Jetson AGX Orin 上实时运行。这一结果表明，Foresight 在开放世界导航中具有显著的性能优势，并且具备实际部署的潜力。研究者计划公开代码、数据和训练细节，以支持未来关于机器人运动细化的测试时推理研究。更多视频演示可在项目网站上查看。
该论文已被 arXiv 收录，提交于 2026 年 6 月 10 日，共 22 页，包含 10 幅图和 3 张表。作者包括 Arthur Zhang 等六人。论文属于机器人学（cs.RO）和人工智能（cs.AI）领域。Foresight 的创新之处在于将测试时推理与强化学习相结合，通过迭代的计划-批评循环，使 VLM 能够动态地发现和利用环境中的线索，从而提升导航的成功率和自主性。这项工作为开放世界机器人导航提供了一种新的思路，并展示了预训练模型在复杂任务中的潜力。