オープンワールドでの地図なしナビゲーションにおいて、疎な言語指示から目的地に到達することは難しい課題である。ロボットは、目標が明確でない場合にそれを解決し、目的地に到達するためにどの環境手がかりが関連するかを推論する必要がある。例えば、視界外の目的地に到達するには、ランプや標識、迂回路を解釈して、どこへ進むべきか、どの経路を取るべきかを明らかにすることが求められる。従来研究は、既知のナビゲーション因子や閉集合の因子カテゴリに依存しているか、運動計画の前に手がかりを特定するため、計画に依存する手がかりを見逃すという限界があった。そこで研究者らは、事前学習済みの視覚言語モデル（VLM）が新規の指示関連手がかりを発見できるが、どの手がかりが重要で、それが運動計画にどう影響すべきかに焦点を当てるための適応が必要であると主張している。
これを実現するのがForesightである。Foresightはテスト時フレームワークであり、微調整されたVLMが画像空間の運動計画を提案することと、言語目標と視覚的文脈を用いてその計画を批評することを交互に行う。後続の計画は以前の批評に条件付けられ、実行前に反復的な運動の洗練が可能になる。計画の批評と改善をオープンセットの行動選好に整合させるため、人間のフィードバックから報酬モデルを学習し、それを用いて計画・批評ループ内で強化学習によりVLMを後訓練する。これにより、モデルは手がかりを発見するだけでなく、人間の選好に沿って計画を調整する方法も学習する。
オフライン評価と6つの実世界環境において、Foresightは最先端のテスト時推論および基盤モデルベースラインと比較して、平均タスク成功率を37%向上させ、ミッションあたりの介入回数を52%削減し、Jetson AGX Orin上でリアルタイムに動作する。この結果は、Foresightがオープンワールドナビゲーションにおいて顕著な性能優位性を持ち、実展開の可能性を秘めていることを示している。研究者らは、ロボットの運動洗練に関するテスト時推論の将来の研究を支援するため、コード、データ、訓練の詳細を公開する予定である。追加の動画はプロジェクトのWebサイトで公開されている。
本論文はarXivに収録され、2026年6月10日に提出された。全22ページ、10枚の図と3つの表を含む。著者はArthur Zhangら6名である。論文はロボティクス（cs.RO）および人工知能（cs.AI）の分野に属する。Foresightの革新性は、テスト時推論と強化学習を組み合わせ、計画と批評の反復ループを通じて、VLMが環境中の手がかりを動的に発見・活用できるようにし、ナビゲーションの成功率と自律性を向上させる点にある。この研究はオープンワールドロボットナビゲーションに新たな視点を提供し、事前学習モデルの複雑なタスクにおける可能性を示している。