Speech2Grasp: データ効率の良いテキスト条件付き把持検出の音声への転移を実現するヒューマノイドロボット手法
本研究では、軽量MLPプロジェクタを用いてALBEFなどのテキスト条件モデルを音声入力に適応させるSpeech2Graspフレームワークを提案します。意味的な識別性とロバスト性を維持しつつ、データ効率の良い転移を実現します。実際のヒューマノイドロボット実験において、Speech2Graspはカスケード型ASRパイプラインよりも優れた性能を示し、推論レイテンシも低減しました。テキスト条件システムを音声に拡張する実用的なパラダイムを提供します。
ヒューマノイドロボットの進化に伴い、マルチモーダル理解能力は自然な人間とのインタラクションに不可欠になりつつあります。視覚言語モデルが顕著な進歩を遂げている一方で、それらは通常、より自然な音声入力ではなくテキスト入力を前提としています。この課題に対処するため、新たな研究がSpeech2Graspフレームワークを提案しました。このフレームワークは、確立されたテキスト条件モデルをデータ効率良く音声入力に転移し、ヒューマノイドロボットが音声コマンドで直接把持操作を実行できるようにします。
研究チームはALBEFモデルをケーススタディとして詳細な診断分析を実施しました。その結果、軽量なMLP（多層パーセプトロン）ベースのプロジェクタを導入することで、ALBEFをテキストモダリティから音声モダリティに効果的に適応させつつ、意味的な識別性とロバスト性を維持できることが明らかになりました。この重要な発見が、その後のフレームワーク設計の基盤となりました。
これらの結果に基づき、研究者らはSpeech2Graspを正式に提案しました。これは、データ効率の良いクロスモーダル転移フレームワークです。コアとなるアイデアは、シンプルなニューラルネットワークモジュールを用いて音声特徴をテキストモデルの埋め込み空間にマッピングし、既存のテキスト条件付き把持検出能力を再利用することです。実際のヒューマノイドロボットプラットフォームで行われた実験では、Speech2Graspが従来のカスケード型自動音声認識（ASR）パイプラインよりも優れた性能を示しただけでなく、推論レイテンシを大幅に低減し、ロボットが音声コマンドに迅速に応答できるようになりました。実験では様々な把持シナリオで良好な結果が得られ、その有効性と実用性が実証されました。
Speech2Graspの成功は、既に成熟したテキスト条件システムの多くにおいて、音声モデルをゼロから訓練する必要はなく、軽量な適応によって効率的な転移が可能であるという重要な知見を裏付けています。このパラダイムはヒューマノイドロボティクスの分野で広く応用され、研究室から実運用への移行を加速することが期待されます。今後の研究では、類似の手法を他のモダリティやタスクに拡張し、人間とロボットの自然なインタラクションをさらに促進することが可能です。本研究成果は2026年7月29日にarXivプレプリントサーバーに投稿され、論文番号は2607.26567です。著者にはHung Nguyen氏を含む9名の研究者が名を連ねています。