MIME: マルチモーダルインタラクティブモーションエンコーダ
本論文では、二人のインタラクティブなモーションに特化した初のマルチモーダルエンコーダであるMIME（Multimodal Interactive Motion Encoder）を提案する。MIMEは、ストリームベースの共注意機構、明示的なインタラクション特徴、およびカリキュラムベースの対照学習を用いて、個別および共有の構造を捉える。Inter-Xデータセットのテキスト-モーション検索において、MIMEはベースラインを上回り、2000サンプルギャラリーでテキスト→モーションR@1を12.8%相対改善した。凍結された補助事前モデルとして、MIMEはTIMotionとInterMaskにおいてFIDを維持しつつ意味的アライメントを向上させ、インタラクションを考慮したマルチモーダル符号化が多人モーション検索を強化し、下流のモーション生成に転移可能であることを示した。
テキスト-モーション表現学習は急速に進展しており、アニメーション、AR/VR、具現化AIなどにおける多人数インタラクションへの関心が高まっています。これらの設定では、言語を個々のアクターのダイナミクスとアクター間の関係の両方に整合させる表現が必要です。従来のアプローチでは、初期融合や後期融合が用いられていましたが、二人の間の共有されたインタラクション構造を十分に捉えることができませんでした。本研究では、Addison Zucekらによって提案されたマルチモーダルインタラクティブモーションエンコーダ（MIME）を紹介します。これは、我々の知る限り、二人のインタラクティブモーション専用に設計された初のマルチモーダルエンコーダです。
MIMEは、ストリームベースの共注意機構を採用し、二人のモーションシーケンスを独立したデータストリームとして扱い、共注意層を通じて情報を交換します。さらに、明示的なインタラクション特徴（相対位置、距離、向きなど）を導入してインタラクション関係のモデリングを強化します。また、カリキュラムベースの対照学習戦略を用いて、簡単な負例から始めて徐々に難しい負例に移行することで、個別および共有構造の識別表現を効果的に学習します。Inter-Xデータセットにおけるテキスト-モーション検索実験では、MIMEはギャラリーサイズ全体で初期融合および後期融合のベースラインを一貫して上回り、特に2000サンプルギャラリーではテキスト→モーションのR@1を12.8%相対改善しました。
さらに、MIMEの汎化能力を検証するために、MIMEを凍結補助事前モデルとしてテキスト-モーション生成モデルTIMotionおよびモーションインペインティングモデルInterMaskに統合し、未見のInterHumanデータセットで評価しました。その結果、MIMEはTIMotionにおいてFIDを維持しながら意味的アライメント指標（R精度など）を向上させました。これらの結果は、インタラクションを考慮したマルチモーダル符号化が多人モーション検索を強化し、データセットを越えて下流のモーション生成を支援することを示しています。
本論文は現在WACV 2027で審査中であり、2026年7月18日に提出されました。MIMEはインタラクティブモーションの理解と生成に新たな道を開き、仮想キャラクターアニメーション、人間とコンピュータのインタラクション、および具現化AI技術の発展に貢献することが期待されます。