生成モデリングの分野において、言語、画像、動画の成功は、大規模で厳選されたデータセットが高性能モデル構築の鍵であることを示しています。しかし、3D人間動作生成はこれまでこの流れに遅れを取っており、小規模で高忠実度のモーションキャプチャデータセットと、静的または低品質なシーケンスが大半を占める大規模な実世界データセットの間で、満足のいく選択肢がないという制約がありました。このたび、複数の研究機関の共同チームがRoMoを提案しました。これは、豊かで大規模、かつ慎重にキュレーションされた実世界の人間動作データセットであり、このトレードオフを解決します。
RoMoデータセットの構築では、研究チームは分類認識フィルタリングパイプラインを導入しました。このパイプラインは、静的なシーケンスやアーチファクトが発生しやすいシーケンスを積極的に除去し、データセット全体の品質を保証します。各シーケンスは詳細なキャプションで注釈付けされ、新しい3レベルのセマンティックタクソノミーに従って整理されています。この階層構造により、グローバルな指標では隠れてしまうモデルの強みと弱みを明らかにする、きめ細かいカテゴリ別評価が可能になります。
三層のセマンティックタクソノミーは、第一層が大まかな動作カテゴリ（歩く、走る、跳ぶなど）、第二層がそのバリエーション（ゆっくり歩く、速く歩くなど）、第三層がさらに詳細な動作特性（腕の振り、姿勢の傾き、環境とのインタラクションなど）を含んでいます。この構造により、モデルの性能を粒度の異なるレベルで評価でき、特定のカテゴリでの弱点を特定するのに役立ちます。
また、RoMoデータはインターネット上の動画から収集されており、屋内・屋外、様々な照明条件、服装、姿勢など、多様な実世界のシナリオをカバーしています。フィルタリングパイプラインにより、動作のないシーケンスや品質の低いシーケンスが除去され、多様で現実的な動作のみが残されています。これにより、RoMoは現在最大規模の高品質な実世界人間動作データセットの一つとなっています。
実験の結果、RoMoで学習したモデルは、忠実度と多様性の両方で最先端の性能を達成し、複雑で微妙なテキストプロンプトを理解する能力が大幅に向上することが示されました。さらに、研究チームはMotion Toolboxをリリースし、メトリクス、データ変換、可視化を標準化することで、再現可能で解釈可能な動作生成研究の基盤を確立しました。Motion Toolboxは、統一された評価指標（FID、多様性など）、データ形式変換機能、可視化ツールを提供し、異なる研究間の比較を容易にします。
本論文はCVPR 2026に採択されており、関連コードとデータは公開される予定です。RoMoの登場は、人間動作生成分野のさらなる発展を促進し、関連する研究や応用に高品質なデータ基盤を提供することが期待されます。