GIRAF：迈向与可运动物体的可泛化人体交互
GIRAF是一种文本条件扩散模型，用于生成与可运动物体的逼真全身交互。它通过对象中心表示、混合域训练和基于接触的数据增强，解决了现有模型在协调运动、精细接触和物体运动推理上的不足，并在未见过的物体配置上展现出强大的泛化能力。
近日，一篇题为《GIRAF：迈向与可运动物体的可泛化人体交互》的论文被CVPR 2026的第三届人体运动生成研讨会（HuMoGen）接收。该研究针对具身人工智能和计算机图形学中的一个核心挑战——合成逼真的、与可运动物体的全身交互——提出了创新的解决方案。
在机器人训练和虚拟代理等应用中，生成能够与门、抽屉、椅子等可运动物体进行自然交互的全身运动至关重要。然而，现有的方法存在显著局限：一些模型仅能处理与静态物体的简单活动（如坐或站），而另一些则局限于手部操作，无法生成从接近到操纵的连贯全身运动。关键难点在于同时推理移动、精细接触和物体关节运动，并实现从导航到操控的无缝过渡。此外，大规模配对运动-场景数据的稀缺阻碍了模型对多样物体位置和形状的泛化能力。
GIRAF通过三项核心设计突破这些瓶颈。首先，它引入了一种对象中心表示，将手与物体表面的接触统一到物体自身的坐标系中，使得接触模式可以跨不同物体几何形状迁移。其次，混合域训练策略平衡了局部交互（如抓取和操作）与全身移动（如行走和转向）的训练样本，避免模型偏向单一任务。最后，基于接触的数据增强方案通过合成新的接触模式（例如在未见过的高接触区域生成接触）来提升训练的多样性。
实验结果显示，GIRAF在未见过物体配置上表现出强大的泛化能力，在多项定量指标和视觉质量上均超越了现有的最佳方法。这项工作为机器人训练、虚拟角色动画和具身AI研究提供了关键技术支撑，标志着全身交互合成研究的重要进展。论文由张萧涵（音译）等六位作者共同完成，全文12页，包含6张图和3张表格。