學習4D幾何先驗以提高推理效率的世界動作模型
MECo-WAM透過在訓練中注入動作相關的4D幾何先驗，提升了機器人操作效能，且不增加推理成本。方法包括多專家協同訓練、衰減4D讀取掩碼注意力和動作感知時態幾何蒸餾。在LIBERO和RoboTwin 2.0上分別達到98.2%和92.6%成功率。
近日，一項發表於arXiv的研究提出了一種名為MECo-WAM的新型世界動作模型（World Action Model, WAM），旨在透過注入4D幾何先驗來提升機器人操作的精度與效率，同時保持推理階段的計算輕量化。該研究由Jianjun Zhang等人完成，論文標題為“Learning 4D Geometric Priors for Inference-Efficient World Action Models”。
世界動作模型透過聯合建模視覺未來動態與可執行動作序列，在機器人操作領域展現出巨大潛力。然而，現有的影片-動作協同訓練方法主要最佳化外觀導向的影片潛在表徵，難以捕捉隨時間演變的幾何資訊，而這正是精細操作所必需的。為克服這一侷限，MECo-WAM採用了多專家協同訓練框架，在訓練過程中引入一個輕量級4D專家，該專家受凍結的VGGT編碼器的關係目標監督。透過非對稱專家可見性設計，避免輔助幾何資訊到動作生成的因果捷徑，確保模型學習到有效的幾何先驗。
為將幾何知識有效轉移至部署用的影片-動作通路，研究者提出了衰減4D讀取掩碼注意力機制。該機制在訓練初期提供受限制的當前幀幾何引導，並逐步移除這一依賴，使得模型最終能獨立依靠影片-動作表徵進行推理。此外，動作感知時態幾何蒸餾方法被用於對齊幀內幾何關係及其時間演化，同時強調與機器人動作最相關的視覺區域，進一步提升表徵的魯棒性。
在部署階段，所有輔助4D元件均被移除，因此MECo-WAM的推理成本與基線模型完全相同，無需額外計算資源。實驗結果表明，該方法在LIBERO基準上達到98.2%的成功率，在RoboTwin 2.0上達到92.6%，並在真實世界操作任務中表現優越，充分證明了其在不增加計算負擔的前提下顯著提升操作效能的能力。這一研究為高效、精準的機器人操作提供了新的思路，有望推動世界動作模型在工業和服務領域的應用。