語義音頻驅動的動態人形全身控制
本研究提出了一種新穎的多模態編排框架，實現語義音頻驅動的人形機器人控制。系統通過音頻指紋和語義嵌入實時處理音樂或語音輸入，動態選擇並執行動作策略，在仿真和Unitree G1人形機器人上驗證了魯棒的模擬到現實遷移。
近年來，人形機器人和強化學習的快速發展使得機器人能夠學習高度表達性的全身運動策略。然而，現有的機器人表演大多依賴於預編程的序列或外部觸發行為，這嚴重限制了機器人的自主性和對動態環境的響應能力。為了解決這一問題，研究人員提出了一種新穎的多模態編排框架，用於實現語義音頻驅動的人形機器人全身控制。該框架使機器人能夠實時自主選擇並執行適當的運動技能，從而顯著提升其在複雜環境中的適應性和交互能力。
系統的核心是一個多模態音頻處理管道，它將連續的音頻流分為音樂和語音兩個分支。對於音樂輸入，系統採用音頻指紋技術和語義嵌入來識別曲目身份並實現時間對齊，從而在音樂段落和運動策略之間建立動態映射。例如，當播放不同節奏或風格的音樂時，機器人可以自動調整其動作以匹配音樂的情感或節拍。對於語音輸入，系統則將其映射到一個離散的模仿學習技能庫中，這些技能通過觀察人類演示而獲得，從而支持直觀的人機交互。無論是音樂還是語音，最終都通過一個統一的接口與強化學習控制管道連接，該管道負責調度和執行相應的運動策略。
研究團隊在仿真環境和實際的Unitree G1人形機器人上對系統進行了驗證。實驗結果表明，該方法能夠實現魯棒的模擬到現實遷移，並保持一致的音頻條件策略選擇。這意味着在仿真中訓練好的策略可以直接部署到真實機器人上，而無需額外的微調。此外，系統對不同類型的音頻輸入（如不同音樂流派或語音命令）均表現出良好的泛化能力。該研究成果已被第29屆Robocup國際研討會接收，該研討會將於2026年7月6日在韓國仁川舉行。補充材料可在項目網站獲取：https://lab-rococo-sapienza.github.io/semantic-WBC/