MetaWorld是由Teng Hu等八位研究者共同提出的一項創新框架,旨在解決視頻世界模型在多智能體場景中的擴展難題。傳統的視頻世界模型通常侷限於單個智能體從單一視角進行觀察,這嚴重限制了其在具身AI和元宇宙等領域的應用潛力。當嘗試擴展到多智能體時,研究者面臨兩大核心挑戰:首先是數據稀缺問題——協調多視角錄製成本極其高昂,難以在通用的開放領域大規模收集;其次是世界狀態對齊問題——獨立生成的視頻流無法保證共享物理環境和事件在不同視角下的一致性。
為了突破這些瓶頸,MetaWorld提出了三項關鍵技術。第一項是單目世界狀態展開(Monocular World-State Unrolling, MWSU),它能夠將單目視頻顯式分解為攝像機的自我運動(ego-motion)和可見主體的空間軌跡。這種分解方式天然地在共享的三維空間中提取出同步的多智能體運動數據,從而完全繞過了多相機設置的需求,大幅降低了數據採集成本。第二項是主題感知世界生成器(Subject-Aware World Generator),該生成器支持基於每個智能體身份圖像的外觀驅動模擬,為精細化的視覺控制提供了可能。第三項是世界狀態對齊(World-State Alignment, WSA),這是一種在視頻DiT的每個Transformer層中插入的幀間分支交叉注意力機制。通過聯合協調去噪過程,WSA同時強制執行靜態幾何一致性和動態運動一致性,確保共享的三維環境和物理事件在兩個自我中心視角下始終保持良好對齊。
大量的實驗結果表明,MetaWorld在跨視圖一致性和身份保真度方面均取得了顯著優於現有方法的性能,為多智能體視頻世界建模建立了一個高度可擴展、物理驅動的全新範式。該研究已被提交至arXiv,編號為2606.02753,主題涵蓋計算機視覺與模式識別(cs.CV)以及人工智能(cs.AI)。這一成果預示着未來在自動駕駛、機器人協作、虛擬現實等需要多視角協同感知的領域具有廣闊的應用前景。