跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Dex2HOI:灵巧双手双物体交互生成

文章摘要

Dex2HOI 提出了一种统一的扩散模型,能从文本生成单物体和双物体的人-物交互运动。该模型采用双流扩散架构,每个物体在独立的交互流中处理,并通过双向交叉注意力进行协调。借助运动融合网络、手部相对物体表示和接触感知条件,Dex2HOI 能够以自回归方式生成任意长序列,推理速度比之前的最先进方法快高达 540 倍。

来源arXiv Computer Vision作者: Chrysa Pratikaki, Pablo Ruiz-Ponce, Jiankang Deng, Stefanos Zafeiriou, Rolandos Alexandros Potamias
Dex2HOI:灵巧双手双物体交互生成
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Dex2HOI 是一项由 Chrysa Pratikaki 等四位作者完成的研究,于 2026 年 5 月 28 日提交至 arXiv,编号 arXiv:2605.30444,属于计算机视觉与模式识别(cs.CV)方向。论文关注的是 4D 人-物交互(Human-Object Interaction,HOI)生成中的一个空白领域:尽管现有的 4D HOI 生成方法已经能够合成越来越逼真的动作,但它们几乎都聚焦于单手或单个物体的操控,而忽略了人类行为中一个非常自然的特征——人们经常同时协调双手、操作多个物体。为了填补这一空白,作者提出了 Dex2HOI,一个统一的扩散模型,可以从文本描述出发,同时支持单物体与双物体的人-物交互动作合成。

Dex2HOI 的核心是一个名为 Dual-Stream Diffusion(双流扩散)的设计。在这一架构中,每一个物体都由一条独立的交互流来处理,两条流之间通过双向交叉注意力(bidirectional cross-attention)进行协调。这种设计的意图在于让模型既能分别刻画两只手与各自所持物体之间的精细交互,又能在两条流之间建立信息交换,从而保证双手动作与两个物体之间的运动在时间上保持一致,而不是简单地把单物体生成结果拼凑在一起。

在最终的动融合阶段,作者引入了 Motion Fusion Network(运动融合网络),并配合新颖的“以手为参照”的物体表示(hand-relative object representations)以及贯穿整段序列的接触感知条件(contact-aware conditioning)。这种手相对表示有助于模型在生成过程中始终以手部的位姿为基准来刻画物体位置与朝向,而接触感知条件则让整个序列在接触发生时保持物理上的合理性。

在推理效率方面,Dex2HOI 通过对以 prefix 为条件的窗口进行自回归采样,能够生成任意长度的动作序列,并达到实时速度,同时无需在测试阶段进行冗余的优化。作者表示,相比此前的最先进方法,该模型可实现最高约 540 倍的推理加速。论文在单物体与双物体两个基准上都进行了大量评测,并取得了最先进的量化结果,作者认为这标志着从传统的单物体 HOI 生成迈向更具表现力的多物体操控的重要一步。论文还给出了 DOI 链接(https://doi.org/10.48550/arXiv.2605.30444),并注明代码与模型将在论文被接收后发布。

展开要点与分析

文章情报

投资人进阶

要点

  • Dex2HOI 是首个从文本生成双手、双物体交互运动的统一扩散模型。
  • 双流扩散架构为每个物体分配独立的交互流,并通过双向交叉注意力协调。
  • 运动融合网络结合新颖的手部相对物体表示和接触感知条件,合成最终运动。
  • 通过前缀条件窗口自回归采样,模型能以实时速度生成任意长序列,推理速度提升高达 540 倍。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。