觸覺在機器人操作中至關重要，尤其是在視覺被遮擋或模糊的情況下。然而，觸覺傳感器因其脆弱性、專用性和難以標準化，導致觸覺數據比視覺數據稀缺得多。為了應對這一挑戰，研究人員提出了FELT（Feature-Extracted Latent Tactile）框架，這是一種基於學習的方法，能夠從RGB觀測中合成每個手指的壓力觸覺圖像，從而減少對配備觸覺傳感器的數據收集的需求。
FELT的核心在於使用一個大型凍結視覺編碼器和一個輕量查詢解碼器，在單次前向傳播中預測觸覺信號。為了尊重雙指觸覺傳感器的物理拓撲結構，FELT通過獨立的分支解碼左、右觸覺傳感器面板，捕捉如擦拭、插入和手內旋轉等交互過程中的非對稱接觸模式。在推理時，FELT僅需RGB數據，因此可以利用現有僅有視覺的數據，通過生成的觸覺圖像或潛在觸覺特徵來增強觸覺觀測。
實驗在四個接觸密集的操作任務上進行，包括擦拭、插入、手內旋轉等場景。結果表明，無論是生成的觸覺圖像還是潛在觸覺特徵，都優於僅有視覺的基線策略。其中，潛在特徵在策略訓練或部署時無需真實觸覺傳感器，大大降低了實際應用的門檻。這項研究為降低觸覺數據收集成本、提升機器人操作能力提供了有效途徑。論文的補充材料可在匿名網站獲取：https://felt-tactile.github.io/。