コンピュータビジョンとグラフィックスの分野において、4D人物-物体インタラクション（HOI）生成技術は近年著しい進歩を遂げ、特に単一物体の操作においてリアルなモーション合成が可能になってきた。しかし、既存の研究は人間の行動の本質的な特性を見落としている。すなわち、人間は自然に両手を協調させ、複数の物体を同時に操作するのである。このギャップを埋めるため、研究チームはDex2HOIを提案した。これは、テキストから単一物体および二物体のHOIモーションを合成する統一的な拡散モデルである。
Dex2HOIの中核となるのはデュアルストリーム拡散アーキテクチャである。このアーキテクチャでは、各物体が専用のインタラクションストリームで処理され、二つのストリーム間は双方向クロスアテンション機構によって調整される。この設計により、モデルは二つの物体それぞれの運動ダイナミクスを捉えつつ、それらの間のインタラクションが時間的・空間的に一貫していることを保証する。最終的なモーションシーケンスを合成するために、研究チームはモーションフュージョンネットワークを導入した。このネットワークは、新規の手相対物体表現と、シーケンス全体に適用される接触認識条件付けを統合する。これらの技術的詳細により、生成されるモーションは物理法則に適合し、テキスト記述のインタラクション意図を正確に反映することが保証される。
生成効率の面では、Dex2HOIは自己回帰サンプリング戦略を採用している。これは、プレフィックス条件付きのウィンドウ上で拡散プロセスを段階的に拡張するものである。この方法により、モデルはテスト時の冗長な最適化を必要とせずに任意の長さのシーケンスを生成できる。この設計により、Dex2HOIの推論速度はリアルタイムレベルに達し、従来の最先端手法と比較して最大540倍の高速化を実現した。このブレークスルーは実用アプリケーションにとって極めて重要である。なぜなら、リアルタイム生成能力はインタラクティブシステムや仮想現実などのシナリオでの基本要件だからである。
研究チームは単一物体および二物体のベンチマークで広範な評価を実施し、Dex2HOIが定量的指標において最先端レベルに達していることを示した。これは、人物-物体インタラクション生成分野が従来の単一物体操作から、より表現力豊かな複数物体操作へと踏み出したことを意味する。本論文はarXivに収録され、2026年5月28日に提出された。著者はChrysa Pratikakiら4名で、コンピュータビジョンとパターン認識（cs.CV）カテゴリに属する。コードとモデルは論文採択後に公開される予定であり、今後の研究と応用をさらに促進することが期待される。