ロボット操作の分野において、推論時ステアリング（inference-time steering）は、展開段階で事前学習済みの生成ポリシーを適応させる技術である。その中核は、候補行動を実行する前に検証することで、無効または危険な動作を回避する点にある。しかし、従来手法は通常、視覚観察のみでこの検証を行う。視覚情報だけでは接触リッチな操作には不十分である。なぜなら、その成功はグローバルなタスク進捗だけでなく、接触力のような微妙な局所相互作用にも依存するからだ。
このボトルネックに対し、論文「Inference-time Policy Steering via Vision and Touch」はViTaLを提案する。ViTaLは視覚と触覚を融合した推論時ステアリングフレームワークであり、多模态ガイダンスを二段階最適化問題として定式化する。高レベルでは、視覚サンプリングと検証が長期モード選択を実行し、ロボットがどの行動を取るべきかを決定する。低レベルでは、触覚誘導拡散編集が選択された行動系列を短期間で洗練し、局所的な接触要件を満たす。この階層設計により、システムはグローバルなタスク方向を把握しつつ、接触の細部を精密に調整できる。
結果ベースのステアリングを支援するため、ViTaLは視覚触覚潜在世界モデルを学習し、意味的に整合した視覚検証器と触覚検証器を採用する。特に、新しいテキスト条件付き触覚報酬関数は、予測された未来の触覚信号を潜在空間上で直接スコアリングするため、デコードなしで接触効果を評価できる。この報酬機構は視覚検証器と協調し、タスク目標と接触制約の両方を満たす行動系列を選択する。
著者らは3つの実世界接触リッチ操作タスクでViTaLを評価した。実験結果によると、ViTaLはベースポリシーと比較して総合成功率を51%向上させた。視覚のみまたは触覚のみの単模态ステアリングと比較して、成功率は少なくとも33%高い。さらに、単純な多模态融合手法と比較しても、少なくとも20%上回る。これらの結果は、推論時ステアリングにおける視覚情報と触覚情報の相補的価値、および二段階最適化フレームワークの有効性を実証している。本論文はarXivのロボティクス（cs.RO）カテゴリに収録されており、プロジェクトウェブサイトも公開されている。