触觉在机器人操作中至关重要，尤其是在视觉被遮挡或模糊的情况下。然而，触觉传感器因其脆弱性、专用性和难以标准化，导致触觉数据比视觉数据稀缺得多。为了应对这一挑战，研究人员提出了FELT（Feature-Extracted Latent Tactile）框架，这是一种基于学习的方法，能够从RGB观测中合成每个手指的压力触觉图像，从而减少对配备触觉传感器的数据收集的需求。
FELT的核心在于使用一个大型冻结视觉编码器和一个轻量查询解码器，在单次前向传播中预测触觉信号。为了尊重双指触觉传感器的物理拓扑结构，FELT通过独立的分支解码左、右触觉传感器面板，捕捉如擦拭、插入和手内旋转等交互过程中的非对称接触模式。在推理时，FELT仅需RGB数据，因此可以利用现有仅有视觉的数据，通过生成的触觉图像或潜在触觉特征来增强触觉观测。
实验在四个接触密集的操作任务上进行，包括擦拭、插入、手内旋转等场景。结果表明，无论是生成的触觉图像还是潜在触觉特征，都优于仅有视觉的基线策略。其中，潜在特征在策略训练或部署时无需真实触觉传感器，大大降低了实际应用的门槛。这项研究为降低触觉数据收集成本、提升机器人操作能力提供了有效途径。论文的补充材料可在匿名网站获取：https://felt-tactile.github.io/。