跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

大型音频语言模型的连续音频思考框架

文章摘要

研究者提出连续音频思考(CoAT)框架,为大型音频语言模型引入连续潜在工作空间,通过音频专家蒸馏保留声学细节,在多个基准测试上提升性能,且不增加自回归解码成本。

来源arXiv Computational Linguistics作者: Gyojin Han, Dong-Jae Lee, Changho Choi, Jongsuk Kim, Junmo Kim
大型音频语言模型的连续音频思考框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大型音频语言模型(LALM)在语音转写、音乐分析等多种音频理解任务上已展现出令人印象深刻的能力,但这类模型的训练目标通常是对齐生成文本回复,因此其隐藏状态会逐步被塑造成服务于文本生成,而非保留声学信息。结果是,音频所携带的丰富声学内容——如音素细节、韵律、声音事件、情感和音高等——在这一过程中逐渐丢失,难以在最终回复中被有效利用。为应对这一问题,研究者提出了“连续音频思考”(Continuous Audio Thinking,CoAT)框架。

CoAT 的核心思路是为音频语言模型提供一个连续的潜在工作空间,在生成回复之前先对声学信息进行组织。该空间由来自音频专家的蒸馏信号进行“锚定”,即模型通过知识蒸馏从专门的音频专家模型中学习,从而在思考空间内获得并保留丰富的声学表征。这样,模型在生成回复时便能够调用这些经由专家蒸馏注入的声学信息,而不是仅依赖为文本生成而优化的隐藏状态。

在效率方面,CoAT 提出连续思考块可以在一次预填充(prefill)中完成处理,因此相较于基线模型,并不需要额外的自回归解码开销。这意味着性能提升并非以增加推理延迟为代价,对于实际部署具有重要意义。

实验方面,研究者在三个音频语言模型上验证了 CoAT 的有效性,分别是 Qwen2-Audio、Qwen2.5-Omni-7B 和 Audio Flamingo 3。评测覆盖了广泛的基准套件,涉及音频推理、音频理解、音乐分类、语音情感以及语音转写等任务,CoAT 在这些任务上均取得了性能提升,证明了该框架的通用性和有效性。进一步的深入分析表明,辅助监督信号会从思考位置传播到模型的文本回复中,说明思考空间中的声学信息确实被下游回复生成所利用,而非孤立存在。

该论文为预印本,作者为 Gyojin Han 等共五位研究者,提交于 2026 年 6 月 5 日,属于 Computation and Language(cs.CL)分类,同时涉及人工智能(cs.AI)、声音(cs.SD)以及音频与语音处理(eess.AS)等方向,论文编号为 arXiv:2606.18273。

展开要点与分析

文章情报

工程师进阶

要点

  • CoAT为音频语言模型增加连续潜在思考空间,避免声学信息在文本生成过程中丢失。
  • 通过音频专家蒸馏提供辅助监督,使模型在生成响应时利用丰富的声学特征。
  • 思考块可在单次预填充中处理,不增加额外自回归解码开销。
  • 在Qwen2-Audio、Qwen2.5-Omni-7B和Audio Flamingo 3上取得跨任务性能提升。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。