近年來,運動語言模型在理解和生成人體運動方面取得了顯著進展,但這些模型通常僅能處理粗粒度的運動描述,無法對特定身體部位進行精細控制或執行局部編輯。這一問題源於模型和數據的雙重侷限:模型難以聚焦於運動的局部模式,而訓練數據也缺乏細粒度的監督信號。為了突破這一瓶頸,研究團隊提出了MotionMERGE——一個統一的多粒度框架,旨在彌合運動語言模型中的粒度鴻溝。
MotionMERGE的核心創新包括三個方面。首先,該框架首次將細粒度語言引導的運動控制引入單一大型語言模型(LLM)。通過對運動在部位和時間兩個維度進行顯式建模,模型獲得了精確控制所需的強大先驗知識。這意味着用户不僅可以用自然語言描述整體動作,還能對特定關節或肢體進行局部調整,例如“抬起右臂的同時保持左腿不動”。
其次,研究團隊設計了推理感知粒度協同預訓練(Reasoning-Aware Granularity-Synergy pre-training)策略。該策略通過聯合監督學習同時優化跨粒度對齊、時序定位、局部對齊、運動連貫性以及基於運動的思維鏈(Chain-of-Thought, CoT)推理。這種多任務訓練方式使模型具備了精細的運動語言對齊能力、跨粒度協同能力以及顯式推理能力,能夠理解複雜的運動指令並生成連貫的人體動作。
第三,為了支持細粒度研究,團隊構建了MotionFineEdit數據集,這是首個包含精細時空校正指令和運動思維鏈標註的大規模資源。該數據集由83.7萬個原子三元組(如“移動左手到肩膀高度”)和14.4萬個複雜三元組(如“先彎腰再撿起物體並轉身”)組成,為細粒度文本驅動的運動編輯和運動推理樹立了新基準。
在廣泛的實驗中,MotionMERGE展示了卓越的性能。在運動生成、理解和編輯任務上,它均實現了比現有方法更高的精度,並且能夠令人信服地零樣本泛化到其他複雜運動任務,如基於文本的動畫合成和交互式運動調整。這一工作標誌着向更細粒度、更具人類推理能力的運動交互模型邁出了重要一步。未來,該框架有望在動畫製作、人機交互、虛擬現實以及體育訓練分析等領域發揮重要作用。