近日,一篇題為《GIRAF:邁向與可運動物體的可泛化人體交互》的論文被CVPR 2026的第三屆人體運動生成研討會(HuMoGen)接收。該研究針對具身人工智能和計算機圖形學中的一個核心挑戰——合成逼真的、與可運動物體的全身交互——提出了創新的解決方案。
在機器人訓練和虛擬代理等應用中,生成能夠與門、抽屜、椅子等可運動物體進行自然交互的全身運動至關重要。然而,現有的方法存在顯著侷限:一些模型僅能處理與靜態物體的簡單活動(如坐或站),而另一些則侷限於手部操作,無法生成從接近到操縱的連貫全身運動。關鍵難點在於同時推理移動、精細接觸和物體關節運動,並實現從導航到操控的無縫過渡。此外,大規模配對運動-場景數據的稀缺阻礙了模型對多樣物體位置和形狀的泛化能力。
GIRAF通過三項核心設計突破這些瓶頸。首先,它引入了一種對象中心表示,將手與物體表面的接觸統一到物體自身的座標系中,使得接觸模式可以跨不同物體幾何形狀遷移。其次,混合域訓練策略平衡了局部交互(如抓取和操作)與全身移動(如行走和轉向)的訓練樣本,避免模型偏向單一任務。最後,基於接觸的數據增強方案通過合成新的接觸模式(例如在未見過的高接觸區域生成接觸)來提升訓練的多樣性。
實驗結果顯示,GIRAF在未見過物體配置上表現出強大的泛化能力,在多項定量指標和視覺質量上均超越了現有的最佳方法。這項工作為機器人訓練、虛擬角色動畫和具身AI研究提供了關鍵技術支撐,標誌着全身交互合成研究的重要進展。論文由張蕭涵(音譯)等六位作者共同完成,全文12頁,包含6張圖和3張表格。