在虚拟人、游戏角色和具身智能交互中，让虚拟角色说话时自然地做手势是一个核心挑战。现有的整体式手势生成模型通常把两类手势混在一起处理：一类是与词汇语义紧密相关的语义手势，比如说到“很大”时张开双臂；另一类是与语音韵律对齐的节拍手势，比如重音时的手部轻拍。这种混合方式导致三个问题：语义 grounding 不足、语音与动作对齐不准、以及运动轨迹不够平滑。
针对这些痛点，论文提出了 DuoGesture，一种受神经科学启发、并融入生物力学约束的双流协同语音手势生成方法。其核心思路是把手势合成拆解为两个耦合的流：语义流负责表达与词汇含义相关的手势，节拍流负责生成与语音节奏同步的规律性动作。为了让两个流协调工作，研究者设计了一个名为“语义变分信息瓶颈”的模块。这个模块本质上是一个帧级别的随机门控，它学习在每一帧中判断语义手势是否应该覆盖节拍运动，从而在保留节拍规律性的同时，在需要强调语义时及时插入有意义的手势。
语义流由“运动 grounding 语义条件”控制。传统方法直接使用词嵌入来驱动语义手势，但词嵌入只包含语言信息，缺乏与动作空间的对应关系，尤其对于低频、长尾的词汇触发手势，效果不佳。DuoGesture 改用运动-语言表示来替代纯词嵌入，为模型提供与动作对齐的语义先验，使得即使是罕见词汇也能生成合理的手势。
节拍流则引入“惯性节拍先验”进行正则化。该模块是一个基于人体测量学加权的臂链结构，用来模拟手臂各关节的惯性特性，从而减少生成动作的抖动，提升节拍一致性。重要的是，这种生物力学正则化只作用于节拍流，不会约束语义帧的灵活性，避免语义表达被过度平滑。
实验方面，论文进行了客观指标评估和主观用户实验。结果显示，DuoGesture 在多个指标上优于现有的强整体基线模型。消融实验进一步验证了三个组件的互补作用：语义 grounding 改善了手势与词汇的匹配度，随机流选择机制提升了语义与节拍的协调性，而生物力学正则化则显著改善了运动平滑度和节拍稳定性。
该论文提交于 2026 年 5 月 25 日，第一作者为 Ferdinand Paar，另有四位合著者，发布在 arXiv 的计算机视觉与模式识别（cs.CV）以及声音（cs.SD）分类下。论文的摘要和元数据已经公开，全文可通过 arXiv 获取。这项工作的意义在于，它为协同语音手势生成提供了一种可解释的双流分解框架，将语义表达和韵律运动解耦后再协调，为后续研究提供了新的思路。