近年来，人形机器人和强化学习的快速发展使得机器人能够学习高度表达性的全身运动策略。然而，现有的机器人表演大多依赖于预编程的序列或外部触发行为，这严重限制了机器人的自主性和对动态环境的响应能力。为了解决这一问题，研究人员提出了一种新颖的多模态编排框架，用于实现语义音频驱动的人形机器人全身控制。该框架使机器人能够实时自主选择并执行适当的运动技能，从而显著提升其在复杂环境中的适应性和交互能力。
系统的核心是一个多模态音频处理管道，它将连续的音频流分为音乐和语音两个分支。对于音乐输入，系统采用音频指纹技术和语义嵌入来识别曲目身份并实现时间对齐，从而在音乐段落和运动策略之间建立动态映射。例如，当播放不同节奏或风格的音乐时，机器人可以自动调整其动作以匹配音乐的情感或节拍。对于语音输入，系统则将其映射到一个离散的模仿学习技能库中，这些技能通过观察人类演示而获得，从而支持直观的人机交互。无论是音乐还是语音，最终都通过一个统一的接口与强化学习控制管道连接，该管道负责调度和执行相应的运动策略。
研究团队在仿真环境和实际的Unitree G1人形机器人上对系统进行了验证。实验结果表明，该方法能够实现鲁棒的模拟到现实迁移，并保持一致的音频条件策略选择。这意味着在仿真中训练好的策略可以直接部署到真实机器人上，而无需额外的微调。此外，系统对不同类型的音频输入（如不同音乐流派或语音命令）均表现出良好的泛化能力。该研究成果已被第29届Robocup国际研讨会接收，该研讨会将于2026年7月6日在韩国仁川举行。补充材料可在项目网站获取：https://lab-rococo-sapienza.github.io/semantic-WBC/