AI News HubLIVE
站内改写2 分钟阅读

遇见LingBot-World-Infinity:一个开源的因果世界模型与智能体框架

蚂蚁集团旗下具身智能部门Robbyant发布了LingBot-World-Infinity(LingBot-World 2.0),这是一个140亿参数的因果视频生成模型,可作为交互式世界模拟器。其核心技术是双向自回归混合注意力掩码(MoBA)和分布匹配蒸馏,旨在解决长时程漂移问题。该模型配备由视觉语言模型(VLM)和扩散变换器(DiT)组成的导演-飞行员智能体框架,支持无限持续的视频生成。尽管研究论文展示了60分钟不间断会话,但开源发布仅包含单个检查点和480P参考脚本,缺乏部署代码和定量基准,且采用非商业许可证。

来源MarkTechPost作者: Asif Razzaq

蚂蚁集团旗下具身智能部门Robbyant近日发布了LingBot-World-Infinity(又称LingBot-World 2.0),这是一个140亿参数的因果视频生成模型,能够作为交互式世界模拟器运行。该模型旨在解决交互式世界模型中的两大挑战:长时程漂移和交互延迟。

LingBot-World-Infinity的核心技术是双向自回归混合注意力掩码(MoBA)与分布匹配蒸馏(DMD)的结合。MoBA机制将注意力划分为双向层和自回归层,分别处理全局交互与因果生成。DMD则通过在长自滚动轨迹上应用分布匹配,有效抑制了纹理模糊和几何扭曲等漂移现象。研究团队将视频生成形式化为因果分解:$p_\theta(x_{1:T} | a_{1:T}) = \prod_t p_\theta(x_t | x_{<t}, a_{\le t})$,其中每帧仅依赖过去帧和当前动作。

该模型配备了一个名为“导演-飞行员”的智能体框架。导演智能体由视觉语言模型(VLM)驱动,负责根据当前场景和用户指令提议事件;飞行员智能体则基于扩散变换器(DiT)架构,根据导演的提议生成对应的视频帧。这一框架使模型能够实现无限持续的视频生成,研究论文中展示了一个长达60分钟、涵盖20个不同场景的连续会话。

在性能方面,研究论文通过并排帧网格进行定性比较,声称LingBot-World-Infinity在生成时长、语义交互、动态程度等方面优于GameGAN、DreamWorld、HappyOyster等模型。然而,开源发布内容相对有限:仅包含一个140B检查点、一个480P(480×832)参考脚本,以及可通过Hugging Face Diffusers或Reactor服务调用的接口。模型采用CC BY-NC-SA 4.0许可证,限制商业使用。值得注意的是,论文中提到的720p/60fps性能依赖于未公开发布的部署栈,公开脚本需8块GPU运行。

LingBot-World-Infinity的应用场景包括:游戏与关卡原型设计(通过热切换提示词改变环境氛围)、具身模拟(生成第一人称视角滚动用于策略学习)、视频理解合成数据(分段提示生成带标注的事件)、智能体评估框架(由导演提议事件并评分下游智能体反应),以及预可视化(控制相机视角并实时重设世界风格)。

该项目在GitHub上开源,并提供论文、项目页面和模型权重链接。研究人员和开发者可通过相关资源进一步探索。