一项针对多模态人机交互系统的新研究通过受控消融实验，系统评估了三个关键模块对整体性能的影响。该研究由Zi Tian和Guanting Shen完成，旨在为未来系统优化提供定量依据。
研究团队基于此前开发的多模态人机交互系统，选取了最影响端到端性能的三个模块：大语言模型（LLM）负责从人类指令中提取动作，感知系统（采用不同配置）负责视觉接地，而控制器则负责执行抓取等运动任务。实验分两个阶段：首先单独比较三种LLM、五种感知配置和三种控制器的性能，然后从中选出最佳候选进行全因子组合研究。
第一阶段的实验揭示了每个模块对执行时间和成功率的独立贡献。例如，某些感知配置在精度上更优但耗时更长，而轻量级LLM可能在实时性上占优。第二阶段通过组合优化，找出了整体性能最佳的系统配置，例如在保证成功率的前提下最小化执行时间的组合。
研究者强调，该工作的目的并非重新设计整个流水线，而是通过隔离每个组件的贡献，为工程改进提供清晰方向。例如，若目标是提升速度，则优先优化控制器；若追求成功率，则需关注感知系统的视觉接地能力。此外，研究还发现某些LLM在理解复杂指令时表现更好，但会增加推理延迟。
该研究已在arXiv上发布，论文编号2605.00963，属于机器人学和人工智能交叉领域。研究得到了西蒙斯基金会、成员机构及所有贡献者的支持。