跳到主要內容
AI News HubLIVE
站內改寫1 分鐘閱讀

GIRAF:邁向與可運動物體的可泛化人體互動

文章摘要

GIRAF是一種文本條件擴散模型,用於生成與可運動物體的逼真全身互動。它透過物件中心表示、混合域訓練和基於接觸的資料增強,解決了現有模型在協調運動、精細接觸和物體運動推理上的不足,並在未見過的物體配置上展現出強大的泛化能力。

來源arXiv Computer Vision作者: Xiaohan Zhang, Sebastian Starke, Alexander Winkler, Federica Bogo, Samir Aroudj, Yuting Ye
GIRAF:邁向與可運動物體的可泛化人體互動
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

近日,一篇題為《GIRAF:邁向與可運動物體的可泛化人體互動》的論文被CVPR 2026的第三屆人體運動生成研討會(HuMoGen)接收。該研究針對具身人工智慧和計算機圖形學中的一個核心挑戰——合成逼真的、與可運動物體的全身互動——提出了創新的解決方案。

在機器人訓練和虛擬代理等應用中,生成能夠與門、抽屜、椅子等可運動物體進行自然互動的全身運動至關重要。然而,現有的方法存在顯著侷限:一些模型僅能處理與靜態物體的簡單活動(如坐或站),而另一些則侷限於手部操作,無法生成從接近到操縱的連貫全身運動。關鍵難點在於同時推理移動、精細接觸和物體關節運動,並實現從導航到操控的無縫過渡。此外,大規模配對運動-場景資料的稀缺阻礙了模型對多樣物體位置和形狀的泛化能力。

GIRAF透過三項核心設計突破這些瓶頸。首先,它引入了一種物件中心表示,將手與物體表面的接觸統一到物體自身的座標系中,使得接觸模式可以跨不同物體幾何形狀遷移。其次,混合域訓練策略平衡了區域性互動(如抓取和操作)與全身移動(如行走和轉向)的訓練樣本,避免模型偏向單一任務。最後,基於接觸的資料增強方案透過合成新的接觸模式(例如在未見過的高接觸區域生成接觸)來提升訓練的多樣性。

實驗結果顯示,GIRAF在未見過物體配置上表現出強大的泛化能力,在多項定量指標和視覺質量上均超越了現有的最佳方法。這項工作為機器人訓練、虛擬角色動畫和具身AI研究提供了關鍵技術支撐,標誌著全身互動合成研究的重要進展。論文由張蕭涵(音譯)等六位作者共同完成,全文12頁,包含6張圖和3張表格。

展開要點與分析

文章情報

工程師進階

要點

  • 現有模型多侷限於靜態物體或僅手部操作,缺乏全身協調與物體運動的聯合推理。
  • GIRAF提出物件中心表示,統一手-物體接觸與物體表面,實現跨幾何形狀的泛化。
  • 混合域訓練策略平衡移動與互動,接觸增強擴充套件訓練多樣性。
  • 實驗表明GIRAF在新物體配置上超越當前最先進方法。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。