大規模音声言語モデル（LALM）は、音声転写から音楽分析まで、多様な音声理解タスクで印象的な能力を示している。しかし、LALMは通常テキストに整合した応答を生成するように訓練されるため、隠れ状態はテキスト生成に適した形に徐々に変化し、音響情報を保持しにくくなる。その結果、音声が運ぶ多様な音響内容——音声的詳細、韻律、音事象、感情、ピッチなど——は途中で失われ、応答に活用することが難しくなる。
この問題に対処するため、研究チームはContinuous Audio Thinking（CoAT）フレームワークを提案した。CoATは、応答生成前に音響情報を整理するための連続潜在ワークスペースを音声言語モデルに装備し、音声専門家からの蒸留によってその基盤を提供する。この思考空間内で、モデルは応答を生成する際に専門家蒸留による豊富な音響情報を利用できる。
CoATの重要な利点は効率性にある。提案された連続思考ブロックは単一のプリフィルで処理できるため、ベースラインモデルに対して追加の自己回帰デコードコストを必要としない。つまり、推論速度を犠牲にすることなく、音響認識能力の向上を得ることができる。
有効性を検証するため、研究者らは3つの大規模音声言語モデル（Qwen2-Audio、Qwen2.5-Omni-7B、Audio Flamingo 3）で実験を行った。音声推論、音声理解、音楽分類、音声感情、音声転写を含む広範なベンチマークスイートにおいて、CoATは性能向上をもたらした。さらに分析により、補助監督が思考位置からモデルのテキスト応答へと伝播することが確認され、思考空間が最終出力に実際に影響を与えていることが示された。
この研究はarXiv（番号2606.18273）に2026年6月5日に投稿されたプレプリントであり、Gyojin Hanら5名の著者によるもので、計算と言語（cs.CL）分野に属し、人工知能、音響、音声処理にも関連している。