隨著物聯網（IoT）裝置在物理世界中的廣泛部署，傳統的語音介面已難以滿足複雜多變的使用者需求。使用者期望語音助手能夠理解裝置狀態、時間、空間等約束，並能在多輪對話中靈活切換主動與被動的互動模式。然而，當前的語音助手系統在處理這類現實世界約束時仍面臨巨大挑戰。
為了解決這一問題，來自多家機構的研究人員聯合提出了MIST（多模態互動式語音工具呼叫資料集）。MIST是一個合成的多輪語音驅動程式碼生成任務，其核心是讓模型根據使用者語音指令生成程式碼來控制智慧家居裝置，同時必須考慮裝置的即時狀態、時間限制、空間位置以及使用者意圖的演化。該資料集模擬了混合主動性互動——即語音助手不僅被動響應，還能主動詢問或確認資訊。
研究團隊在MIST上評估了多個主流的多模態大語言模型（LLM），涵蓋開放權重（如LLaMA系列）和閉權重（如GPT-4、Gemini等）兩類。結果顯示，兩者之間存在顯著的效能鴻溝：閉權重模型整體表現更好，但即便是最先進的模型（如GPT-4）也遠未達到完美，在複雜多輪場景下錯誤率較高。這表明，當前模型在理解物理世界約束、動態跟蹤對話狀態和生成正確程式碼方面仍有很大進步空間。
為了加速這一領域的發展，研究人員公開了MIST資料集以及一個可擴充套件的資料生成框架。該框架允許研究者根據實際需求生成特定場景的資料集，從而便於探索不同模型在物理世界推理任務上的能力邊界。這一工作不僅為語音助手領域提供了標準化的評測基準，也為未來研究指明瞭方向：如何讓模型更有效地整合多模態資訊（語音、文本、裝置狀態）並在真實環境中穩健執行。
MIST的釋出有望推動混合主動性語音助手從實驗室走向實際應用，尤其是在智慧家居、醫療輔助和工業自動化等對可靠性要求極高的領域。