随着物联网（IoT）设备在物理世界中的广泛部署，传统的语音接口已难以满足复杂多变的用户需求。用户期望语音助手能够理解设备状态、时间、空间等约束，并能在多轮对话中灵活切换主动与被动的交互模式。然而，当前的语音助手系统在处理这类现实世界约束时仍面临巨大挑战。
为了解决这一问题，来自多家机构的研究人员联合提出了MIST（多模态交互式语音工具调用数据集）。MIST是一个合成的多轮语音驱动代码生成任务，其核心是让模型根据用户语音指令生成代码来控制智能家居设备，同时必须考虑设备的实时状态、时间限制、空间位置以及用户意图的演化。该数据集模拟了混合主动性交互——即语音助手不仅被动响应，还能主动询问或确认信息。
研究团队在MIST上评估了多个主流的多模态大语言模型（LLM），涵盖开放权重（如LLaMA系列）和闭权重（如GPT-4、Gemini等）两类。结果显示，两者之间存在显著的性能鸿沟：闭权重模型整体表现更好，但即便是最先进的模型（如GPT-4）也远未达到完美，在复杂多轮场景下错误率较高。这表明，当前模型在理解物理世界约束、动态跟踪对话状态和生成正确代码方面仍有很大进步空间。
为了加速这一领域的发展，研究人员公开了MIST数据集以及一个可扩展的数据生成框架。该框架允许研究者根据实际需求生成特定场景的数据集，从而便于探索不同模型在物理世界推理任务上的能力边界。这一工作不仅为语音助手领域提供了标准化的评测基准，也为未来研究指明了方向：如何让模型更有效地整合多模态信息（语音、文本、设备状态）并在真实环境中稳健运行。
MIST的发布有望推动混合主动性语音助手从实验室走向实际应用，尤其是在智能家居、医疗辅助和工业自动化等对可靠性要求极高的领域。