跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

遇見LingBot-World-Infinity:一個開源的因果世界模型與智能體框架

文章摘要

螞蟻集團旗下具身智能部門Robbyant發佈了LingBot-World-Infinity(LingBot-World 2.0),這是一個140億參數的因果視頻生成模型,可作為交互式世界模擬器。其核心技術是雙向自迴歸混合注意力掩碼(MoBA)和分佈匹配蒸餾,旨在解決長時程漂移問題。該模型配備由視覺語言模型(VLM)和擴散變換器(DiT)組成的導演-飛行員智能體框架,支持無限持續的視頻生成。儘管研究論文展示了60分鐘不間斷會話,但開源發佈僅包含單個檢查點和480P參考腳本,缺乏部署代碼和定量基準,且採用非商業許可證。

來源MarkTechPost作者: Asif Razzaq
遇見LingBot-World-Infinity:一個開源的因果世界模型與智能體框架
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

螞蟻集團旗下具身智能部門Robbyant近日發佈了LingBot-World-Infinity(又稱LingBot-World 2.0),這是一個140億參數的因果視頻生成模型,能夠作為交互式世界模擬器運行。該模型旨在解決交互式世界模型中的兩大挑戰:長時程漂移和交互延遲。

LingBot-World-Infinity的核心技術是雙向自迴歸混合注意力掩碼(MoBA)與分佈匹配蒸餾(DMD)的結合。MoBA機制將注意力劃分為雙向層和自迴歸層,分別處理全局交互與因果生成。DMD則通過在長自滾動軌跡上應用分佈匹配,有效抑制了紋理模糊和幾何扭曲等漂移現象。研究團隊將視頻生成形式化為因果分解:$p_\theta(x_{1:T} | a_{1:T}) = \prod_t p_\theta(x_t | x_{<t}, a_{\le t})$,其中每幀僅依賴過去幀和當前動作。

該模型配備了一個名為“導演-飛行員”的智能體框架。導演智能體由視覺語言模型(VLM)驅動,負責根據當前場景和用户指令提議事件;飛行員智能體則基於擴散變換器(DiT)架構,根據導演的提議生成對應的視頻幀。這一框架使模型能夠實現無限持續的視頻生成,研究論文中展示了一個長達60分鐘、涵蓋20個不同場景的連續會話。

在性能方面,研究論文通過並排幀網格進行定性比較,聲稱LingBot-World-Infinity在生成時長、語義交互、動態程度等方面優於GameGAN、DreamWorld、HappyOyster等模型。然而,開源發佈內容相對有限:僅包含一個140B檢查點、一個480P(480×832)參考腳本,以及可通過Hugging Face Diffusers或Reactor服務調用的接口。模型採用CC BY-NC-SA 4.0許可證,限制商業使用。值得注意的是,論文中提到的720p/60fps性能依賴於未公開發布的部署棧,公開腳本需8塊GPU運行。

LingBot-World-Infinity的應用場景包括:遊戲與關卡原型設計(通過熱切換提示詞改變環境氛圍)、具身模擬(生成第一人稱視角滾動用於策略學習)、視頻理解合成數據(分段提示生成帶標註的事件)、智能體評估框架(由導演提議事件並評分下游智能體反應),以及預可視化(控制相機視角並實時重設世界風格)。

該項目在GitHub上開源,並提供論文、項目頁面和模型權重鏈接。研究人員和開發者可通過相關資源進一步探索。

展開要點與分析

文章情報

工程師進階

要點

  • LingBot-World-Infinity是螞蟻集團Robbyant發佈的140億參數因果視頻生成模型,支持交互式無限世界模擬。
  • 核心創新為MoBA注意力機制與分佈匹配蒸餾,有效緩解長時程漂移現象。
  • 模型採用導演-飛行員框架,由VLM驅動事件提議,DiT生成視頻幀。
  • 開源版本僅提供檢查點和480P腳本,無部署代碼或定量基準,限制商用。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。