跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

遇見LingBot-World-Infinity:一個開源的因果世界模型與智慧體框架

文章摘要

螞蟻集團旗下具身智慧部門Robbyant釋出了LingBot-World-Infinity(LingBot-World 2.0),這是一個140億引數的因果影片生成模型,可作為互動式世界模擬器。其核心技術是雙向自迴歸混合注意力掩碼(MoBA)和分佈匹配蒸餾,旨在解決長時程漂移問題。該模型配備由視覺語言模型(VLM)和擴散變換器(DiT)組成的導演-飛行員智慧體框架,支援無限持續的影片生成。儘管研究論文展示了60分鐘不間斷會話,但開源釋出僅包含單個檢查點和480P參考指令碼,缺乏部署程式碼和定量基準,且採用非商業許可證。

來源MarkTechPost作者: Asif Razzaq
遇見LingBot-World-Infinity:一個開源的因果世界模型與智慧體框架
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

螞蟻集團旗下具身智慧部門Robbyant近日釋出了LingBot-World-Infinity(又稱LingBot-World 2.0),這是一個140億引數的因果影片生成模型,能夠作為互動式世界模擬器執行。該模型旨在解決互動式世界模型中的兩大挑戰:長時程漂移和互動延遲。

LingBot-World-Infinity的核心技術是雙向自迴歸混合注意力掩碼(MoBA)與分佈匹配蒸餾(DMD)的結合。MoBA機制將注意力劃分為雙向層和自迴歸層,分別處理全域性互動與因果生成。DMD則透過在長自滾動軌跡上應用分佈匹配,有效抑制了紋理模糊和幾何扭曲等漂移現象。研究團隊將影片生成形式化為因果分解:$p_\theta(x_{1:T} | a_{1:T}) = \prod_t p_\theta(x_t | x_{<t}, a_{\le t})$,其中每幀僅依賴過去幀和當前動作。

該模型配備了一個名為“導演-飛行員”的智慧體框架。導演智慧體由視覺語言模型(VLM)驅動,負責根據當前場景和使用者指令提議事件;飛行員智慧體則基於擴散變換器(DiT)架構,根據導演的提議生成對應的影片幀。這一框架使模型能夠實現無限持續的影片生成,研究論文中展示了一個長達60分鐘、涵蓋20個不同場景的連續會話。

在效能方面,研究論文透過並排幀網格進行定性比較,聲稱LingBot-World-Infinity在生成時長、語義互動、動態程度等方面優於GameGAN、DreamWorld、HappyOyster等模型。然而,開源釋出內容相對有限:僅包含一個140B檢查點、一個480P(480×832)參考指令碼,以及可透過Hugging Face Diffusers或Reactor服務呼叫的介面。模型採用CC BY-NC-SA 4.0許可證,限制商業使用。值得注意的是,論文中提到的720p/60fps效能依賴於未公開發布的部署棧,公開指令碼需8塊GPU執行。

LingBot-World-Infinity的應用場景包括:遊戲與關卡原型設計(透過熱切換提示詞改變環境氛圍)、具身模擬(生成第一人稱視角滾動用於策略學習)、影片理解合成資料(分段提示生成帶標註的事件)、智慧體評估框架(由導演提議事件並評分下游智慧體反應),以及預視覺化(控制相機視角並即時重設世界風格)。

該專案在GitHub上開源,並提供論文、專案頁面和模型權重連結。研究人員和開發者可透過相關資源進一步探索。

展開要點與分析

文章情報

工程師進階

要點

  • LingBot-World-Infinity是螞蟻集團Robbyant釋出的140億引數因果影片生成模型,支援互動式無限世界模擬。
  • 核心創新為MoBA注意力機制與分佈匹配蒸餾,有效緩解長時程漂移現象。
  • 模型採用導演-飛行員框架,由VLM驅動事件提議,DiT生成影片幀。
  • 開源版本僅提供檢查點和480P指令碼,無部署程式碼或定量基準,限制商用。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。