セマンティックオーディオ駆動型動的人型全身制御

近年、人型ロボティクスと強化学習の進歩により、非常に表現力豊かな全身運動ポリシーを獲得できるようになりました。しかし、ほとんどのロボットパフォーマンスは、事前にスクリプト化されたシーケンスや外部トリガーによる動作に依存しており、動的な環境への自律性と応答性が制限されています。この問題に対処するため、研究者らは、セマンティックオーディオ駆動型人型ロボット制御のための新しいマルチモーダルオーケストレーションフレームワークを提案しました。このフレームワークにより、ロボットはリアルタイムで自律的に適切な運動スキルを選択し実行できるようになり、複雑な環境への適応性とインタラクション能力が大幅に向上します。

システムの中核はマルチモーダルオーディオ処理パイプラインであり、連続的なオーディオストリームを音楽と音声のブランチに振り分けます。音楽入力の場合、システムはオーディオフィンガープリンティング技術とセマンティック埋め込みを使用してトラックIDを特定し時間的アライメントを実現し、音楽セグメントと運動ポリシーの間の動的マッピングを可能にします。例えば、異なるリズムやスタイルの音楽が再生されると、ロボットは音楽の感情やビートに合わせて動作を自動調整できます。音声入力の場合、システムは人間のデモンストレーションを観察して学習された模倣学習スキルの離散ライブラリにマッピングし、直感的な人間とロボットのインタラクションをサポートします。音楽と音声の両方のモダリティは、最終的に強化学習制御パイプラインと接続する統一インターフェースを共有し、このパイプラインが対応する運動ポリシーのスケジューリングと実行を担当します。

研究チームは、シミュレーション環境と実際のUnitree G1人型ロボットでシステムを検証しました。実験結果は、この手法がロバストなシミュレーションから実機への転送（sim-to-real）を実現し、一貫したオーディオ条件付きポリシー選択を維持することを示しました。これは、シミュレーションでトレーニングされたポリシーを追加の微調整なしで実際のロボットに直接デプロイできることを意味します。さらに、システムは異なるタイプのオーディオ入力（異なる音楽ジャンルや音声コマンドなど）に対しても良好な汎化能力を示しました。この研究成果は、2026年7月6日に韓国仁川で開催される第29回Robocup国際シンポジウムに採択されました。補足資料はプロジェクトウェブサイト（https://lab-rococo-sapienza.github.io/semantic-WBC/）で入手できます。