視覚-言語-行動（VLA）モデルはロボット操作において有望な汎化能力を示しているが、接触を伴うタスクでは依然として課題が残る。わずかな接触の摂動が回復不能な失敗を引き起こし、視覚のみでは検出が困難である。こうした失敗はタスクレベルの意味論的誤りではなく局所的であるため、触覚認識による修正後訓練は回復を効率的に改善する方法を提供する。しかし、人間の介入による監督の拡大はコストがかかる。近年の研究では、政策改善のために想像上のロールアウトを合成する世界モデルが探求されているが、視覚のみの世界モデルは視覚的には妥当でも接触に矛盾する軌道を生成する可能性がある。そこで本稿では、接触を伴う操作のためのスケーラブルなVLA後訓練に向けた、触覚認識世界モデル駆動フレームワークTACOを提案する。
TACOは実際のロボットロールアウトを入力とし、触覚認識世界モデルを用いた「認識-想像-ラベル」ループに従う。統一進行-行動モデルは進行推定を用いて失敗に隣接する状態を認識し、視覚-触覚生成モデルは局所的な修正セグメントを想像し、進行-行動モデルはそれらに実行可能な修正行動をラベル付けする。触覚修正監督をVLA後訓練に組み込むため、TACOは知識隔離された触覚適応とアドバンテージ条件付き訓練を組み合わせ、想像上の修正から学習することを可能にしつつ、事前訓練された視覚-言語事前知識を劣化させない。これらのコンポーネントにより、TACOは現実世界の失敗を想像上の視覚-触覚修正に変換し、反復的なVLA後訓練を実現する。
実世界の接触を伴う操作タスクの実験では、TACOは基本ポリシーと比較して44%の絶対成功率向上を達成し、知識隔離された触覚適応なしのポリシーと比較して32%の向上を示した。この結果は、触覚認識世界モデルがVLAモデルの接触を伴うタスク処理能力を向上させる上で大きな可能性を持つことを示している。TACOの成功は、触覚モダリティを統合することで視覚の不足を補い、将来のロボット操作におけるより堅牢な後訓練方法への新しい道を開くものである。