跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

MotionMERGE:用於人體運動編輯、推理、生成和解釋的多粒度框架

文章摘要

MotionMERGE是一個統一框架,通過在大語言模型中顯式建模局部和時序運動模式,彌合了運動語言模型中的粒度差距。它引入了推理感知粒度協同預訓練策略和包含98萬個三元組的大規模數據集MotionFineEdit,實現了精細的文本驅動運動編輯和基於運動的思維鏈推理。實驗表明,該框架在運動生成、理解和編輯方面具有更高精度,並能零樣本泛化到其他複雜運動任務。

來源arXiv Computer Vision作者: Bizhu Wu, Jinheng Xie, Wenting Chen, Zhe Kong, Jianfeng Ren, Linlin Shen, Ruibin Bai, Rong Qu
MotionMERGE:用於人體運動編輯、推理、生成和解釋的多粒度框架
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近年來,運動語言模型在理解和生成人體運動方面取得了顯著進展,但這些模型通常僅能處理粗粒度的運動描述,無法對特定身體部位進行精細控制或執行局部編輯。這一問題源於模型和數據的雙重侷限:模型難以聚焦於運動的局部模式,而訓練數據也缺乏細粒度的監督信號。為了突破這一瓶頸,研究團隊提出了MotionMERGE——一個統一的多粒度框架,旨在彌合運動語言模型中的粒度鴻溝。

MotionMERGE的核心創新包括三個方面。首先,該框架首次將細粒度語言引導的運動控制引入單一大型語言模型(LLM)。通過對運動在部位和時間兩個維度進行顯式建模,模型獲得了精確控制所需的強大先驗知識。這意味着用户不僅可以用自然語言描述整體動作,還能對特定關節或肢體進行局部調整,例如“抬起右臂的同時保持左腿不動”。

其次,研究團隊設計了推理感知粒度協同預訓練(Reasoning-Aware Granularity-Synergy pre-training)策略。該策略通過聯合監督學習同時優化跨粒度對齊、時序定位、局部對齊、運動連貫性以及基於運動的思維鏈(Chain-of-Thought, CoT)推理。這種多任務訓練方式使模型具備了精細的運動語言對齊能力、跨粒度協同能力以及顯式推理能力,能夠理解複雜的運動指令並生成連貫的人體動作。

第三,為了支持細粒度研究,團隊構建了MotionFineEdit數據集,這是首個包含精細時空校正指令和運動思維鏈標註的大規模資源。該數據集由83.7萬個原子三元組(如“移動左手到肩膀高度”)和14.4萬個複雜三元組(如“先彎腰再撿起物體並轉身”)組成,為細粒度文本驅動的運動編輯和運動推理樹立了新基準。

在廣泛的實驗中,MotionMERGE展示了卓越的性能。在運動生成、理解和編輯任務上,它均實現了比現有方法更高的精度,並且能夠令人信服地零樣本泛化到其他複雜運動任務,如基於文本的動畫合成和交互式運動調整。這一工作標誌着向更細粒度、更具人類推理能力的運動交互模型邁出了重要一步。未來,該框架有望在動畫製作、人機交互、虛擬現實以及體育訓練分析等領域發揮重要作用。

展開要點與分析

文章情報

工程師進階

要點

  • 首次研究細粒度語言引導的運動控制,包括詳細理解和局部編輯。
  • 提出推理感知粒度協同預訓練,實現跨粒度對齊、時序定位、局部對齊和運動連貫性。
  • 構建MotionFineEdit數據集,包含83.7萬個原子三元組和14.4萬個複雜三元組,提供細粒度時空校正指令和運動思維鏈標註。
  • 實驗證明MotionMERGE在運動生成、理解和編輯上更精確,並具零樣本泛化能力。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。