触覚は、特に視覚が遮断されている場合やあいまいな場合に、操作において重要な役割を果たします。しかしながら、触覚センサは壊れやすく、特殊であり、標準化が難しいため、触覚データは視覚データよりもはるかに希少です。この問題に対処するため、本研究ではFELT（Feature-Extracted Latent Tactile）を提案します。これは、RGB観測から指ごとの圧力触覚画像を合成する学習ベースのフレームワークであり、触覚センサを搭載したデータ収集の必要性を低減します。
FELTは、大規模な凍結視覚エンコーダと軽量クエリデコーダを使用し、単一のフィードフォワードパスで触覚信号を予測します。二本指触覚センサの物理的トポロジーを尊重するため、FELTは左右の触覚センサパネルを別々のブランチでデコードし、拭き取り、挿入、手内回転などのインタラクションにおける非対称な接触パターンを捉えます。推論時にはRGBデータのみを必要とし、生成された触覚画像または潜在触覚特徴として、既存の視覚のみのデータに触覚観測を追加できます。
4つの接触豊富な操作タスクでの実験により、生成された触覚画像と潜在触覚特徴の両方が、視覚のみのベースラインよりもポリシーの成功率を向上させることが示されました。特に潜在特徴は、ポリシーのトレーニングやデプロイ時に実際の触覚センサを必要とせず、実用化のハードルを大幅に下げます。本研究は、触覚データ収集のコストを削減し、ロボット操作能力を向上させる効果的な方法を提供します。補足資料は匿名ウェブサイト（https://felt-tactile.github.io/）で入手可能です。