接触を伴うロボットマニピュレーションタスク——例えば tight clearance の挿入、コネクタ嵌合、研磨、曲面に沿った拭き取り——は、データ駆動型コントローラにとって依然として困難である。これらのタスクは不連続な接触ダイナミクス、部分観測性、厳格な安全制約が結合しており、単一のセンシングモダリティでは不十分である。視覚は接触前のグローバルな文脈を提供し、力/トルク(F/T)フィードバックは接触後のインタラクションを制御し、固有感覚姿勢は一貫したキネマティック基盤を与える。しかし、既存の接触豊かなタスク向け模倣学習ポリシーの多くは単一または二模态の信号のみを扱い、三模态を融合する少数の手法も、タスク関連領域間でアテンション質量をどのように分配すべきかという明示的な事前分布を持たない既製のアテンションモジュールを採用している。
このギャップに対処するため、本論文は時空間最適輸送アテンション(SO-TA)を提案する。これは三模态融合バックボーンであり、ソフトマックス正規化されたパッチアテンションを、力-姿勢由来のサブクエリと視覚パッチ間のエントロピー正則化最適輸送(OT)アラインメントに置き換える。明示的な周辺制約は接触豊かなタスクのための構造的帰納バイアスとして機能し、照明変化、妨害物、部分遮蔽に対して安定な条件認識型の空間選択を促進する。SO-TAは拡散ベースのシーケンスポリシーと組み合わせられ、観測ウィンドウを姿勢-アクションチャンクにマッピングする。
実験は3つの実ロボットタスクで評価された: tight peg-in-hole 組立、BCMワイヤリングコネクタ挿入、曲面上のマーク消去である。各条件約200回のロールアウトで、SO-TAは tight peg-in-hole で100%の成功率を達成し、同一容量のクロスアテンションは93%であった。また、照明・妨害物・部分遮蔽の摂動下ではSO-TAが82.5%の成功率を維持したのに対し、単純連結ベースラインは43.5%に低下した。さらに、OT由来のパッチヒートマップと leave-one-out モダリティ影響比は、解釈可能でフェーズ依存の診断情報を提供する。
本論文はarXiv(2605.20433)に2026年5月19日提出され、ロボティクス(cs.RO)に分類される。8ページ、16図、3表からなるプレプリントであり、著者はYue Fengら2名である。SO-TAは最適輸送理論を多模态アテンションに導入する有効性を示し、接触豊かな操作における模倣学習のための新たな構造的融合パラダイムを提供するとともに、ロバスト性と解釈性の向上における明示的先験の重要性を強調している。