在機器人操作領域，接觸豐富的任務——如緊密間隙的插入、連接器的配對、拋光以及曲面擦拭——對數據驅動的控制器來説仍然是一大挑戰。這些任務不僅涉及不連續的接觸動力學，還面臨部分可觀測性和嚴格的安全約束。單一傳感模態無法滿足所有需求：視覺在接觸前提供全局上下文，力/力矩（F/T）反饋在接觸後主導交互，而本體感覺位姿則提供一致的運動學骨幹。然而，大多數先前的模仿學習策略僅使用單模態或雙模態信號，少數融合三模態的方法通常採用現成的注意力模塊，但並未明確如何跨任務相關區域分配注意力質量。
為了解決這一問題，本文提出了時空最優傳輸注意力（SO-TA），一種三模態融合骨幹網絡。SO-TA的核心創新在於用熵正則化最優傳輸（OT）對齊力-位姿派生的子查詢與視覺塊，替代了傳統的softmax歸一化塊注意力。顯式的邊際約束作為一種結構化的歸納偏置，能夠促進條件感知的空間選擇，使得模型在光照變化、干擾物和部分遮擋下仍能保持穩定。這種機制不僅提升了注意力分配的精確性，還增強了模型對複雜環境的魯棒性。
SO-TA與基於擴散的序列策略相結合，將觀測窗口映射到位姿動作塊。研究者在三個真實機器人任務上評估了SO-TA：緊密銷孔裝配、BCM接線連接器插入以及曲面標記擦除。每個條件進行約200次試驗，結果顯示，SO-TA在緊密銷孔裝配任務中達到了100%的成功率，而在相同容量下交叉注意力僅為93%；在光照、干擾物和部分遮擋擾動下，SO-TA仍保持了82.5%的成功率，而拼接基線則降至43.5%。此外，OT導出的塊熱圖以及留一模態影響比提供了可解釋的、階段相關的診斷信息，為任務階段的診斷和調試提供了有力依據。
這項研究的意義在於，SO-TA通過最優傳輸理論為多模態融合提供了結構化的先驗，顯著提升了機器人執行復雜接觸任務的能力。未來，該方法有望在更廣泛的工業應用中發揮作用。