モノのインターネット（IoT）デバイスが物理世界に広く普及するにつれて、従来の音声インターフェースでは複雑なユーザー体験に対応できなくなってきている。ユーザーは、デバイスの状態、時間、場所などの制約を理解し、能動的・受動的な対話を柔軟に切り替えられる音声アシスタントを期待している。しかし、現在の音声アシスタントシステムは、こうした現実世界の制約を処理する上で大きな課題を抱えている。
この問題に取り組むため、複数の研究機関の共同チームがMIST（マルチモーダル対話型音声ツール呼び出しデータセット）を提案した。MISTは、IoTデバイス上で動作する合成マルチターン音声駆動コード生成タスクであり、ユーザーの音声指示に基づいてスマートホームデバイスを制御するコードをモデルが生成する。その際、デバイスのリアルタイム状態、時間制約、空間的な位置、ユーザー意図の変化などを考慮する必要がある。このタスクは混合イニシアティブ対話を模倣しており、アシスタントは受動的に応答するだけでなく、積極的に質問や確認を行うことも求められる。
研究チームは、MIST上で複数の代表的なマルチモーダル大規模言語モデル（LLM）を評価した。対象はオープンウェイトモデル（LLaMAシリーズなど）とクローズドウェイトモデル（GPT-4、Geminiなど）である。結果は、両者の間に顕著な性能差があることを示した。クローズドウェイトモデルは全体的に優れているものの、最先端のモデル（GPT-4など）でも複雑なマルチターンシナリオでは高いエラー率を示し、完全にはほど遠い。これは、物理世界の制約理解、対話状態の動的追跡、正しいコード生成において、現行モデルに大きな改善余地があることを示している。
この分野の研究を加速するため、チームはMISTデータセットと拡張可能なデータ生成フレームワークを公開した。このフレームワークにより、研究者は特定のシナリオに合わせたデータセットを容易に生成でき、物理世界推論タスクにおけるモデルの能力限界を探求できる。本研究成果は、音声アシスタント分野に標準化された評価ベンチマークを提供するだけでなく、音声、テキスト、デバイス状態などのマルチモーダル情報を効果的に統合し、実環境でロバストに動作するモデルの開発に向けた方向性を示している。
MISTの公開は、特にスマートホーム、医療支援、産業オートメーションなど、高い信頼性が求められる領域において、混合イニシアティブ音声アシスタントの実用化を促進することが期待される。