接触丰富的机器人操作任务——例如紧公差插孔、连接器对接、抛光和曲面擦拭——对数据驱动控制器而言依然极具挑战。这类任务同时涉及不连续的接触动力学、部分可观测性和严格的安全约束，任何单一传感模态都难以独立支撑。视觉在接触前提供全局场景信息，力/力矩（F/T）反馈在接触后主导交互控制，而本体感觉位姿则提供一致的 kinematics 基准。然而，现有模仿学习策略大多只处理单模态或双模态信号；少数融合三种模态的方法通常直接采用现成的注意力模块，而未对注意力质量应如何在任务相关区域间分配施加显式先验。
针对这一缺口，论文提出时空最优传输注意力（SO-TA），一种三模态融合骨干网络。其核心创新在于用熵正则化的最优传输（OT）对齐替代传统的softmax归一化图像块注意力。具体而言，SO-TA将力-位姿导出的子查询与视觉图像块进行匹配，并通过显式的边际约束引入结构化归纳偏置。这种约束鼓励模型进行条件感知的空间选择，使注意力分配更稳定地抵抗光照变化、干扰物和部分遮挡的影响。SO-TA随后与基于扩散的序列策略相结合，将观测窗口映射为位姿-动作块，从而生成平滑且多模态的动作序列。
实验在三个真实机器人任务上展开：紧公差插孔装配、BCM线束连接器插入以及曲面标记擦除。每个条件约200次 rollout 的评估显示，SO-TA在紧公差插孔任务上达到100%成功率，而容量匹配的交叉注意力基线为93%。在叠加光照扰动、干扰物和部分遮挡的测试中，SO-TA保持82.5%的成功率，而简单的拼接基线则骤降至43.5%。此外，OT导出的图像块热力图和留一法模态影响比提供了可解释的、随任务阶段变化的诊断信息，有助于理解模型在不同接触阶段的决策依据。
该工作发表于 arXiv（编号2605.20433），属于机器人学（cs.RO）方向，共8页、16幅图、3张表。作者为Yue Feng等两人，提交日期为2026年5月19日。SO-TA展示了将最优传输理论引入多模态注意力机制的有效性，为接触丰富操作中的模仿学习提供了新的结构化融合范式，并强调了显式先验在提升鲁棒性和可解释性方面的重要价值。