在生成式建模領域，語言、圖像和視頻的成功已經表明，大規模、精心整理的數據集是構建強大模型的關鍵驅動力。然而，3D人體運動生成卻一直落後於這些領域，主要受限於一個令人不滿的選擇：要麼使用小規模但高保真的運動捕捉數據集，要麼使用大規模但主要由靜態或低質量序列構成的野外數據。近日，來自多個機構的研究人員聯合提出了RoMo，一個豐富、大規模、精心整理的野外人運動數據集，有效解決了這一權衡問題。
RoMo數據集的構建過程中，研究團隊引入了一種分類感知的過濾管道。該管道能夠主動識別並移除那些靜態序列或容易產生偽影的序列，從而確保了數據集的整體質量。每個保留的序列都配有詳細的文本描述，並按照一種新穎的三級語義分類體系進行組織。這種層級結構不僅僅是簡單的數據整理，它使得研究人員能夠進行細粒度的、按類別的評估，從而揭示出全局指標（如平均精度）所掩蓋的模型優勢和弱點。
RoMo數據集的核心創新在於其三層語義分類體系。第一層是粗粒度的動作類別，如行走、跑步、跳躍等；第二層細化了動作的變體，如慢跑、快跑、衝刺等；第三層則包含了更細緻的描述，如動作的幅度、速度、方向以及與環境交互的信息。這種層級結構不僅便於數據的檢索和管理，更重要的是，它允許用户對模型在不同粒度上的表現進行深入分析。例如，一個模型可能在整體平均性能上很好，但在某些特定子類別（如涉及複雜交互的動作）上表現不佳，而傳統的全局指標往往忽略這一點。
此外，研究團隊還特別關注了數據集的多樣性和真實性。RoMo中的數據來源於互聯網上的視頻，涵蓋了各種真實場景，包括室內外、不同光照條件、不同穿着和姿勢等。通過過濾管道，他們成功去除了大量無動作或質量低下的片段，同時保留了豐富多樣的真實運動。這使得RoMo成為目前規模最大的高質量野外人運動數據集之一。
實驗結果表明，基於RoMo訓練的模型在生成保真度和多樣性方面均達到了當前最先進水平。更重要的是，這些模型對於複雜、微妙的文本提示的理解能力顯著優於以往的方法。研究團隊還發布了Motion Toolbox，這是一個用於標準化評估指標、數據轉換和可視化的工具包，為可重複和可解釋的人體運動生成研究奠定了堅實基礎。該工具箱提供了統一的評估指標（如FID、多樣性等）、數據格式轉換功能以及可視化工具，使得不同研究工作之間的比較更加公平和容易。
該論文已被CVPR 2026接收，相關代碼和數據將在論文發表後公開發布。RoMo的推出有望推動人體運動生成領域的進一步發展，為相關研究和應用提供高質量的數據支撐。