語義音訊驅動的動態人形全身控制
本研究提出了一種新穎的多模態編排框架，實現語義音訊驅動的人形機器人控制。系統透過音訊指紋和語義嵌入即時處理音樂或語音輸入，動態選擇並執行動作策略，在模擬和Unitree G1人形機器人上驗證了魯棒的模擬到現實遷移。
近年來，人形機器人和強化學習的快速發展使得機器人能夠學習高度表達性的全身運動策略。然而，現有的機器人表演大多依賴於預程式設計的序列或外部觸發行為，這嚴重限制了機器人的自主性和對動態環境的響應能力。為了解決這一問題，研究人員提出了一種新穎的多模態編排框架，用於實現語義音訊驅動的人形機器人全身控制。該框架使機器人能夠即時自主選擇並執行適當的運動技能，從而顯著提升其在複雜環境中的適應性和互動能力。
系統的核心是一個多模態音訊處理管道，它將連續的音訊流分為音樂和語音兩個分支。對於音樂輸入，系統採用音訊指紋技術和語義嵌入來識別曲目身份並實現時間對齊，從而在音樂段落和運動策略之間建立動態對映。例如，當播放不同節奏或風格的音樂時，機器人可以自動調整其動作以匹配音樂的情感或節拍。對於語音輸入，系統則將其對映到一個離散的模仿學習技能庫中，這些技能透過觀察人類演示而獲得，從而支援直觀的人機互動。無論是音樂還是語音，最終都透過一個統一的介面與強化學習控制管道連線，該管道負責排程和執行相應的運動策略。
研究團隊在模擬環境和實際的Unitree G1人形機器人上對系統進行了驗證。實驗結果表明，該方法能夠實現魯棒的模擬到現實遷移，並保持一致的音訊條件策略選擇。這意味著在模擬中訓練好的策略可以直接部署到真實機器人上，而無需額外的微調。此外，系統對不同型別的音訊輸入（如不同音樂流派或語音命令）均表現出良好的泛化能力。該研究成果已被第29屆Robocup國際研討會接收，該研討會將於2026年7月6日在韓國仁川舉行。補充材料可在專案網站獲取：https://lab-rococo-sapienza.github.io/semantic-WBC/