高效将口语语言模型适应于新加坡语境
本研究探索了在无法访问原始训练数据且需要多语言语音查询交互的敏感领域（如新加坡内政团队）中，如何高效地使开源口语语言模型（SLM）适应。通过结合LoRA微调、防止灾难性遗忘的替代文本问答数据集以及针对语音任务改编的CoBa重加权方案的多任务目标，研究团队构建了包含504,853个样本的多语言问答数据集HTD-multilingual-QA，最终得到的HT-Moonstone（5B）模型在大多数任务上匹敌或超越规模大7倍的SLM，并在口音和性别识别上表现最佳，同时原始语音问答能力损失不到2%。
口语语言模型（SLM）能够同时处理语音感知与语言推理，但在敏感领域（如执法、国防）的适配仍面临挑战，尤其是原始训练数据通常不可获取，且需要支持多语言的语音查询交互。来自新加坡的研究团队近期提出了一套高效的适配方法，将开源SLM成功应用于新加坡内政团队（Home Team）的五个核心语音任务，覆盖该国四种官方语言（英语、华语、马来语、泰米尔语）。该方法的核心创新包括三点：首先，采用低秩适配（LoRA）技术进行参数高效微调，仅更新模型不到1%的参数，从而保留模型的预训练知识；其次，构建了一个替代文本问答数据集，通过文本形式的问答对来防止语音任务微调中常见的灾难性遗忘问题；最后，设计了一个多任务学习目标，将原本用于视觉任务的CoBa自适应损失加权方案改编至语音领域，自动平衡不同语音任务的贡献。为支撑该方法，团队还创建了HTD-multilingual-QA数据集，包含504,853个样本，涵盖文本和语音两种模态的多语言问答对，覆盖命令识别、口音分类、性别识别、语音问答和语言辨识等任务。基于上述方法训练的HT-Moonstone模型（5B参数）在大多数任务上达到了与规模大7倍的SLM（约35B参数）相当甚至更优的性能，尤其在口音和性别识别任务上取得了所有评估模型中的最佳结果。更重要的是，该模型在保持原始语音问答能力方面表现优异，性能损失不到2%，证明了其高效适应的能力。这项研究为数据受限且多语言环境下的SLM部署提供了切实可行的解决方案，相关论文已提交至arXiv（编号2607.10092），全文10页并包含2幅图表，详细说明了方法、实验设置和结果。