大型音频语言模型(LALM)在语音转写、音乐分析等多种音频理解任务上已展现出令人印象深刻的能力,但这类模型的训练目标通常是对齐生成文本回复,因此其隐藏状态会逐步被塑造成服务于文本生成,而非保留声学信息。结果是,音频所携带的丰富声学内容——如音素细节、韵律、声音事件、情感和音高等——在这一过程中逐渐丢失,难以在最终回复中被有效利用。为应对这一问题,研究者提出了“连续音频思考”(Continuous Audio Thinking,CoAT)框架。
CoAT 的核心思路是为音频语言模型提供一个连续的潜在工作空间,在生成回复之前先对声学信息进行组织。该空间由来自音频专家的蒸馏信号进行“锚定”,即模型通过知识蒸馏从专门的音频专家模型中学习,从而在思考空间内获得并保留丰富的声学表征。这样,模型在生成回复时便能够调用这些经由专家蒸馏注入的声学信息,而不是仅依赖为文本生成而优化的隐藏状态。
在效率方面,CoAT 提出连续思考块可以在一次预填充(prefill)中完成处理,因此相较于基线模型,并不需要额外的自回归解码开销。这意味着性能提升并非以增加推理延迟为代价,对于实际部署具有重要意义。
实验方面,研究者在三个音频语言模型上验证了 CoAT 的有效性,分别是 Qwen2-Audio、Qwen2.5-Omni-7B 和 Audio Flamingo 3。评测覆盖了广泛的基准套件,涉及音频推理、音频理解、音乐分类、语音情感以及语音转写等任务,CoAT 在这些任务上均取得了性能提升,证明了该框架的通用性和有效性。进一步的深入分析表明,辅助监督信号会从思考位置传播到模型的文本回复中,说明思考空间中的声学信息确实被下游回复生成所利用,而非孤立存在。
该论文为预印本,作者为 Gyojin Han 等共五位研究者,提交于 2026 年 6 月 5 日,属于 Computation and Language(cs.CL)分类,同时涉及人工智能(cs.AI)、声音(cs.SD)以及音频与语音处理(eess.AS)等方向,论文编号为 arXiv:2606.18273。