隨着物聯網（IoT）設備在物理世界中的廣泛部署，傳統的語音接口已難以滿足複雜多變的用户需求。用户期望語音助手能夠理解設備狀態、時間、空間等約束，並能在多輪對話中靈活切換主動與被動的交互模式。然而，當前的語音助手系統在處理這類現實世界約束時仍面臨巨大挑戰。
為了解決這一問題，來自多家機構的研究人員聯合提出了MIST（多模態交互式語音工具調用數據集）。MIST是一個合成的多輪語音驅動代碼生成任務，其核心是讓模型根據用户語音指令生成代碼來控制智能家居設備，同時必須考慮設備的實時狀態、時間限制、空間位置以及用户意圖的演化。該數據集模擬了混合主動性交互——即語音助手不僅被動響應，還能主動詢問或確認信息。
研究團隊在MIST上評估了多個主流的多模態大語言模型（LLM），涵蓋開放權重（如LLaMA系列）和閉權重（如GPT-4、Gemini等）兩類。結果顯示，兩者之間存在顯著的性能鴻溝：閉權重模型整體表現更好，但即便是最先進的模型（如GPT-4）也遠未達到完美，在複雜多輪場景下錯誤率較高。這表明，當前模型在理解物理世界約束、動態跟蹤對話狀態和生成正確代碼方面仍有很大進步空間。
為了加速這一領域的發展，研究人員公開了MIST數據集以及一個可擴展的數據生成框架。該框架允許研究者根據實際需求生成特定場景的數據集，從而便於探索不同模型在物理世界推理任務上的能力邊界。這一工作不僅為語音助手領域提供了標準化的評測基準，也為未來研究指明瞭方向：如何讓模型更有效地整合多模態信息（語音、文本、設備狀態）並在真實環境中穩健運行。
MIST的發佈有望推動混合主動性語音助手從實驗室走向實際應用，尤其是在智能家居、醫療輔助和工業自動化等對可靠性要求極高的領域。