Speech2Grasp：将文本条件抓取检测高效迁移到语音的人形机器人方法
本研究提出Speech2Grasp框架，基于轻量级MLP投影器将ALBEF等文本条件模型适配到语音输入，在保持语义判别和鲁棒性的同时，实现数据高效的迁移。实际人形机器人实验证明，Speech2Grasp在推理延迟和性能上优于级联ASR流水线，为扩展既有文本条件系统到语音模态提供了实用范式。
随着人形机器人技术的快速发展，多模态理解能力已成为实现自然人机交互的关键。尽管当前视觉-语言模型取得了显著进展，但它们通常依赖文本输入，而非更自然的语音指令。针对这一局限，一项新研究提出了Speech2Grasp框架，旨在以数据高效的方式将成熟的文本条件模型迁移到语音输入，使人形机器人能够直接通过语音指令完成抓取操作。
该研究团队以ALBEF模型为案例，进行了深入的诊断分析。他们发现，通过引入一个轻量级的MLP（多层感知机）投影器，可以有效地将ALBEF从文本模态适配到语音模态，同时保持其原有的语义判别能力和鲁棒性。这一关键发现为后续框架设计奠定了坚实基础。
基于上述结果，研究人员正式提出Speech2Grasp——一种数据高效的跨模态迁移框架。其核心思想是利用简单的神经网络模块将语音特征映射到文本模型的嵌入空间，从而复用既有的文本条件抓取检测能力。在真实人形机器人平台上进行的实验表明，Speech2Grasp不仅优于传统的级联自动语音识别（ASR）流水线，还显著降低了推理延迟，使机器人能够更快速地响应语音指令。实验结果显示，该系统在多种抓取场景下均表现出色，充分验证了其有效性和实用性。
Speech2Grasp的成功证实了一个重要观点：对于许多已经成熟的文本条件系统，我们无需从头训练语音模型，而是可以通过轻量级适配实现高效迁移。这种范式有望在人形机器人领域得到广泛应用，加速从实验室研究到实际部署的进程。未来的工作可以探索将类似方法扩展到其他模态和任务，例如将文本条件模型迁移到触觉或视觉指令，从而进一步推动人机交互的自然化。该研究已于2026年7月29日提交至arXiv预印本平台，论文编号为2607.26567，作者包括Hung Nguyen等九位研究人员。