一項針對多模態人機交互系統的新研究通過受控消融實驗，系統評估了三個關鍵模塊對整體性能的影響。該研究由Zi Tian和Guanting Shen完成，旨在為未來系統優化提供定量依據。
研究團隊基於此前開發的多模態人機交互系統，選取了最影響端到端性能的三個模塊：大語言模型（LLM）負責從人類指令中提取動作，感知系統（採用不同配置）負責視覺接地，而控制器則負責執行抓取等運動任務。實驗分兩個階段：首先單獨比較三種LLM、五種感知配置和三種控制器的性能，然後從中選出最佳候選進行全因子組合研究。
第一階段的實驗揭示了每個模塊對執行時間和成功率的獨立貢獻。例如，某些感知配置在精度上更優但耗時更長，而輕量級LLM可能在實時性上佔優。第二階段通過組合優化，找出了整體性能最佳的系統配置，例如在保證成功率的前提下最小化執行時間的組合。
研究者強調，該工作的目的並非重新設計整個流水線，而是通過隔離每個組件的貢獻，為工程改進提供清晰方向。例如，若目標是提升速度，則優先優化控制器；若追求成功率，則需關注感知系統的視覺接地能力。此外，研究還發現某些LLM在理解複雜指令時表現更好，但會增加推理延遲。
該研究已在arXiv上發佈，論文編號2605.00963，屬於機器人學和人工智能交叉領域。研究得到了西蒙斯基金會、成員機構及所有貢獻者的支持。