Dex2HOI 是一项由 Chrysa Pratikaki 等四位作者完成的研究,于 2026 年 5 月 28 日提交至 arXiv,编号 arXiv:2605.30444,属于计算机视觉与模式识别(cs.CV)方向。论文关注的是 4D 人-物交互(Human-Object Interaction,HOI)生成中的一个空白领域:尽管现有的 4D HOI 生成方法已经能够合成越来越逼真的动作,但它们几乎都聚焦于单手或单个物体的操控,而忽略了人类行为中一个非常自然的特征——人们经常同时协调双手、操作多个物体。为了填补这一空白,作者提出了 Dex2HOI,一个统一的扩散模型,可以从文本描述出发,同时支持单物体与双物体的人-物交互动作合成。
Dex2HOI 的核心是一个名为 Dual-Stream Diffusion(双流扩散)的设计。在这一架构中,每一个物体都由一条独立的交互流来处理,两条流之间通过双向交叉注意力(bidirectional cross-attention)进行协调。这种设计的意图在于让模型既能分别刻画两只手与各自所持物体之间的精细交互,又能在两条流之间建立信息交换,从而保证双手动作与两个物体之间的运动在时间上保持一致,而不是简单地把单物体生成结果拼凑在一起。
在最终的动融合阶段,作者引入了 Motion Fusion Network(运动融合网络),并配合新颖的“以手为参照”的物体表示(hand-relative object representations)以及贯穿整段序列的接触感知条件(contact-aware conditioning)。这种手相对表示有助于模型在生成过程中始终以手部的位姿为基准来刻画物体位置与朝向,而接触感知条件则让整个序列在接触发生时保持物理上的合理性。
在推理效率方面,Dex2HOI 通过对以 prefix 为条件的窗口进行自回归采样,能够生成任意长度的动作序列,并达到实时速度,同时无需在测试阶段进行冗余的优化。作者表示,相比此前的最先进方法,该模型可实现最高约 540 倍的推理加速。论文在单物体与双物体两个基准上都进行了大量评测,并取得了最先进的量化结果,作者认为这标志着从传统的单物体 HOI 生成迈向更具表现力的多物体操控的重要一步。论文还给出了 DOI 链接(https://doi.org/10.48550/arXiv.2605.30444),并注明代码与模型将在论文被接收后发布。