近日，一篇題為《DuoGesture: Neuro-Inspired and Biomechanically Informed Dual-Stream Co-Speech Gesture Generation》的論文由 Ferdinand Paar 等五位作者提交至 arXiv（論文編號：2605.26236），提出了一種創新的共語手勢生成方法。該研究針對現有整體模型將語義手勢與節拍手勢混合導致語義接地不足、語音-運動對齊不佳及運動平滑度低的問題，從神經科學和生物力學角度出發，設計了雙流架構。
DuoGesture 的核心在於將手勢生成解耦為語義流和節拍流。語義流負責傳達詞彙級的語義內容，而節拍流則與韻律對齊，提供節奏性的動作。兩流通過一個稱為“語義變分信息瓶頸”的隨機幀級門控機制進行協調，該機制學習何時語義手勢應覆蓋節拍運動。為了增強語義流的性能，研究引入了“運動接地語義條件”，用運動-語言表示替代純語言詞嵌入，從而為長尾詞彙觸發的的手勢提供運動對齊的語義先驗。對於節拍流，論文提出了“慣性節拍先驗”，這是一種基於人體測量加權的臂鏈模塊，能夠在不約束語義幀的前提下減少抖動並提高節奏一致性。
通過客觀評估和主觀實驗，DuoGesture 在多個指標上超越了強整體基線模型。組件消融研究進一步證實了語義接地、隨機流選擇和生物力學正則化之間的互補作用。該工作為共語手勢生成領域提供了新的視角，有望在虛擬角色動畫、人機交互等應用中發揮重要作用。論文於2026年5月25日提交，涵蓋計算機視覺和模式識別以及音頻處理等研究方向。