NVIDIAと清華大学チームがGamma-Worldを発表：世界モデルが「一人遊び」から「多人数共存」へ

Gamma-Worldは、マルチエージェント環境向けの世界モデルにおける重要な進歩です。従来の世界モデルは単一エージェント設定向けに設計されており、エージェントの行動系列から将来の観測を予測します。しかし、マルチエージェントシナリオでは、時間的一貫性、視点間の一貫性、およびエージェント間の相互作用の一貫性を同時に維持する必要があります。Solarisのような既存のアプローチは、固定された学習可能なスロットIDベクトルを割り当てることで単一エージェントモデルを拡張しようとしましたが、これによりエージェント間の対称性が破壊され、二次的な注意コストのためにスケーラビリティが制限されます。

Gamma-Worldは、これらの制限を克服するために2つの中核的な革新を導入します。第1に、シンプレックス回転エージェントエンコーディングは、すべてのエージェントを正単体の頂点に配置し、任意のエージェントペアが符号化空間で等しい回転距離を持つことを保証します。これにより、学習可能なパラメーターなしで置換対称性が維持され、再訓練なしで任意の数のエージェントに一般化できます。第2に、スパースハブアテンションは、学習可能なハブトークンのセットを使用してエージェント間情報の共有ボトルネックとして機能し、通信の複雑さをエージェント数の2次から線形に低減します。これは効率的であるだけでなく、エージェント間情報が共有世界状態を通じて圧縮されるべきであるという構造的先行知識を強制します。

生成品質とリアルタイム推論のバランスを取るために、Gamma-Worldは3段階の蒸留パイプラインを採用しています。まず、将来のフレームに完全にアクセスできる双方向教師モデルが訓練され、高品質な生成分布を提供します。次に、因果的学生モデルが自己回帰ストリーミング用に訓練されます。最後に、条件付き自己強制蒸留により、分布マッチング蒸留を用いて多段階サンプリングを4ステップに圧縮し、動作の制御可能性を維持しながら24 FPSのリアルタイムロールアウトを実現します。

マルチプレイヤーMinecraftでの実験では、Gamma-Worldが5つのカテゴリーでSolarisや他のベースラインを大幅に上回り、FVDを40%以上削減しました。重要なことに、2人データのみで訓練されたモデルは、修正なしで一貫した4人視点を直接生成でき、ゼロショット一般化を示しています。このフレームワークは、RealOmin-Openデータセットを使用した実世界の両腕ロボットタスクにも転送され、2つのロボットアームが独立したエージェントとして扱われ、それらの協調動作が一貫して生成されます。

この研究は、構造的先行知識（置換対称性など）を直接アーキテクチャにエンコードすることが、モデルがデータから学習することに頼るよりも効果的であるという重要な原則を強調しています。Gamma-Worldの設計は、マルチエージェント世界モデリングにおける長年の問題に対処し、Physical AIのためのスケーラブルなシミュレーションと訓練インフラへの道を開きます。