バーチャルヒューマン、ゲームキャラクター、身体性知能インタラクションにおいて、キャラクターが話しながら自然にジェスチャーを行うことは中核的な課題である。既存のホリスティックなジェスチャー生成モデルは、通常、2種類のジェスチャーを混合して処理する。1つは語彙の意味に密接に関連するセマンティックジェスチャー（例えば「大きい」と言うときに両腕を広げる）であり、もう1つは音声の韻律に同期するビートジェスチャー（例えばアクセントで手を軽く叩く）である。この混合アプローチは、意味的接地の不足、音声と動作のアラインメントの不正確さ、運動軌跡の滑らかさの欠如という3つの問題を引き起こす。
これらの問題に対処するため、論文はDuoGestureを提案する。これは神経科学に着想を得て、生体力学的制約を組み込んだデュアルストリーム協調音声ジェスチャー生成手法である。核心となるアイデアは、ジェスチャー合成を2つの結合されたストリームに分解することである。セマンティックストリームは語彙の意味に関連するジェスチャーを担当し、ビートストリームは音声リズムに同期する規則的な動きを生成する。2つのストリームを協調させるために、研究者らは「セマンティック変分情報ボトルネック」というモジュールを設計した。このモジュールは本質的にフレームレベルの確率的ゲートであり、各フレームにおいてセマンティックジェスチャーがビート運動を上書きすべきかどうかを学習する。これにより、ビートの規則性を保ちながら、意味を強調する必要があるときに意味のあるジェスチャーを適切に挿入できる。
セマンティックストリームは「モーション接地型セマンティック条件付け」によって制御される。従来の方法は単語埋め込みを直接使用してセマンティックジェスチャーを駆動するが、単語埋め込みは言語情報のみを含み、動作空間との対応関係を欠くため、特に低頻度のロングテール語彙のトリガージェスチャーに対して効果が不十分である。DuoGestureは代わりにモーション言語表現を用いて純粋な単語埋め込みを置き換え、動作と整列したセマンティックプライアをモデルに提供することで、稀な語彙でも合理的なジェスチャーを生成できるようにする。
ビートストリームには「慣性ビートプライア」による正則化を導入する。このモジュールは人体計測学に基づく加重アームチェーン構造であり、腕の各関節の慣性特性を模擬することで、生成動作のジッターを低減し、ビートの一貫性を向上させる。重要なのは、この生体力学的正則化がビートストリームにのみ作用し、セマンティックフレームの柔軟性を制約しないため、意味表現が過度に平滑化されることを避ける点である。
実験では、客観指標評価と主観ユーザー実験を実施した。結果は、DuoGestureが複数の指標で既存の強力なホリスティックベースラインモデルを上回ることを示した。アブレーション実験は、3つのコンポーネントの補完的な役割をさらに検証した。セマンティック接地はジェスチャーと語彙のマッチングを改善し、確率的ストリーム選択メカニズムはセマンティックとビートの協調性を高め、生体力学的正則化は運動の滑らかさとビートの安定性を著しく改善した。
本論文は2026年5月25日に提出され、筆頭著者はFerdinand Paarで、他に4名の共著者がいる。arXivのコンピュータビジョンとパターン認識（cs.CV）およびサウンド（cs.SD）のカテゴリで公開されている。論文の要旨とメタデータは公開されており、全文はarXivから入手可能である。この研究の意義は、協調音声ジェスチャー生成に解釈可能なデュアルストリーム分解フレームワークを提供し、意味表現と韻律運動を分離してから協調させることで、今後の研究に新たな方向性を示す点にある。