アントグループのエンボディードインテリジェンス部門であるRobbyantは、LingBot-World-Infinity(LingBot-World 2.0)を公開しました。これは140億パラメータを持つ因果的ビデオ生成モデルであり、対話型世界シミュレーターとして動作します。従来の対話型世界モデルが直面する長期的ドリフト(テクスチャのぼやけや形状の歪み)と対話レイテンシーの2つの問題に取り組んでいます。
LingBot-World-Infinityの核となる技術は、双方向自己回帰混合注意マスク(MoBA)と分布マッチング蒸留(DMD)の組み合わせです。MoBAは注意機構を双方向層と自己回帰層に分割し、全体のインタラクションと因果的生成をそれぞれ担当します。DMDは長い自己ロールアウト軌跡にわたって分布マッチングを適用し、ドリフトを効果的に抑制します。研究チームはビデオ生成を因果分解として形式化しています:$p_\theta(x_{1:T} | a_{1:T}) = \prod_t p_\theta(x_t | x_{<t}, a_{\le t})$。
このモデルには「ディレクター・パイロット」エージェントハーネスが組み込まれています。ディレクターエージェントは視覚言語モデル(VLM)で駆動され、現在のシーンとユーザー指示に基づいてイベントを提案します。パイロットエージェントは拡散トランスフォーマー(DiT)アーキテクチャに基づき、ディレクターの提案に対応するビデオフレームを生成します。このフレームワークにより、モデルは無限にビデオを生成でき、研究論文では20のシナリオをカバーする60分間の連続セッションが示されています。
性能面では、研究論文は並べたフレームグリッドによる定性的比較を行い、GameGAN、DreamWorld、HappyOysterなどのモデルよりも生成時間、意味的インタラクション、動的度合いで優れていると主張しています。しかし、オープンソースリリースは限定的です:1つの140Bチェックポイント、480P(480×832)のリファレンススクリプト、そしてHugging Face DiffusersまたはReactorサービスを介した呼び出しインターフェースのみです。モデルはCC BY-NC-SA 4.0ライセンスで提供され、商用利用は制限されています。論文で言及されている720p/60fpsの性能は未公開のデプロイスタックに依存しており、公開スクリプトは8GPUを必要とします。
LingBot-World-Infinityの応用分野は多岐にわたります:ゲームとレベルのプロトタイピング(プロンプトの切り替えで環境の雰囲気を変更)、エンボディードシミュレーション(一人称視点のロールアウトを生成してポリシー学習に利用)、ビデオ理解のための合成データ生成(チャンク単位のプロンプトで時間的にローカライズされたイベントを作成)、エージェント評価フレームワーク(ディレクターエージェントがイベントを提案し、下流エージェントの反応をスコアリング)、およびプレビジュアライゼーション(カメラ視点を制御し、参照画像を保持したまま世界をリアルタイムに再スタイリング)などです。
このプロジェクトはGitHubでオープンソース化されており、論文、プロジェクトページ、モデルウェイトへのリンクが提供されています。研究者や開発者は関連リソースを通じてさらに探求することができます。