螞蟻集團旗下具身智能部門Robbyant近日發佈了LingBot-World-Infinity(又稱LingBot-World 2.0),這是一個140億參數的因果視頻生成模型,能夠作為交互式世界模擬器運行。該模型旨在解決交互式世界模型中的兩大挑戰:長時程漂移和交互延遲。
LingBot-World-Infinity的核心技術是雙向自迴歸混合注意力掩碼(MoBA)與分佈匹配蒸餾(DMD)的結合。MoBA機制將注意力劃分為雙向層和自迴歸層,分別處理全局交互與因果生成。DMD則通過在長自滾動軌跡上應用分佈匹配,有效抑制了紋理模糊和幾何扭曲等漂移現象。研究團隊將視頻生成形式化為因果分解:$p_\theta(x_{1:T} | a_{1:T}) = \prod_t p_\theta(x_t | x_{<t}, a_{\le t})$,其中每幀僅依賴過去幀和當前動作。
該模型配備了一個名為“導演-飛行員”的智能體框架。導演智能體由視覺語言模型(VLM)驅動,負責根據當前場景和用户指令提議事件;飛行員智能體則基於擴散變換器(DiT)架構,根據導演的提議生成對應的視頻幀。這一框架使模型能夠實現無限持續的視頻生成,研究論文中展示了一個長達60分鐘、涵蓋20個不同場景的連續會話。
在性能方面,研究論文通過並排幀網格進行定性比較,聲稱LingBot-World-Infinity在生成時長、語義交互、動態程度等方面優於GameGAN、DreamWorld、HappyOyster等模型。然而,開源發佈內容相對有限:僅包含一個140B檢查點、一個480P(480×832)參考腳本,以及可通過Hugging Face Diffusers或Reactor服務調用的接口。模型採用CC BY-NC-SA 4.0許可證,限制商業使用。值得注意的是,論文中提到的720p/60fps性能依賴於未公開發布的部署棧,公開腳本需8塊GPU運行。
LingBot-World-Infinity的應用場景包括:遊戲與關卡原型設計(通過熱切換提示詞改變環境氛圍)、具身模擬(生成第一人稱視角滾動用於策略學習)、視頻理解合成數據(分段提示生成帶標註的事件)、智能體評估框架(由導演提議事件並評分下游智能體反應),以及預可視化(控制相機視角並實時重設世界風格)。
該項目在GitHub上開源,並提供論文、項目頁面和模型權重鏈接。研究人員和開發者可通過相關資源進一步探索。