跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

LuxSQA:用TTS增强的口语问答系统询问卢森堡语

文章摘要

一种新方法利用文本到语音(TTS)技术为低资源语言卢森堡语生成口语问答(SQA)训练数据。通过翻译现有文本问答对、合成语音,并使用参数高效的模型(冻结Whisper编码器和LoRA适配器)进行训练,该方法优于单一TTS源。多源TTS数据和语音设计提高了性能,且无参考TTS质量分数不能可靠预测问答准确率。

来源arXiv Computational Linguistics作者: Nina Hosseini-Kivanani, Marco Matassoni, Alessio Brutti
LuxSQA:用TTS增强的口语问答系统询问卢森堡语
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

口语问答(SQA)技术长期以来主要集中于英语、中文等高资源语言,并且依赖于精心录制的语音数据集。这极大地限制了语音与大语言模型结合的方法在低资源语言(如卢森堡语)中的推广和应用。为了解决这一瓶颈,最新的一项研究探索了是否可以利用文本到语音(TTS)技术,为卢森堡语生成任务特定的口语问答训练数据,从而避免大规模人工录制问答语料库的高昂成本。

研究团队从现有的基于文本的问答资源出发,首先将问题翻译成卢森堡语,随后使用多种不同的TTS系统合成口语问题,并将其与对应的文本答案配对。他们采用了一种参数高效的SLAM风格架构,该架构通过一个可学习的投影器和LoRA适配器,将冻结的Whisper语音编码器连接到同样冻结的多语言大语言模型后端。这种设计在保持模型性能的同时,大幅减少了需要训练的参数量。

在实验部分,研究团队比较了三种TTS系统(MMS-TTS、Qwen3-TTS和OmniVoice)生成的合成语音,并构建了约4.8万个问题的单源语料库以及约23万个问题的多源混合语料库(结合了4种TTS系统)。他们使用真实的卢森堡语说话人条件在LLAMA-LB-Test上进行评估,结果清晰地显示,使用多源语音数据和基于语音设计的合成训练配置能够带来最强的口语问答性能。

一个特别值得注意的发现是,无参考的TTS质量评分(即不依赖原始语音的客观指标)并不能单调地预测下游问答任务的准确率。这意味着,合成语音不能仅仅因为听起来自然就被认为是好的训练数据,而必须通过任务特定的评估来验证其对模型训练的有效性。这一结论为未来低资源语言语音技术的研究提供了重要的指导——在构建TTS训练数据时,应当优先考虑数据多样性和任务适配性,而非单纯追求音频的自然度。

展开要点与分析

文章情报

投资人进阶

要点

  • TTS生成的合成语音可有效训练低资源语言(如卢森堡语)的SQA。
  • 多源TTS数据(使用4种TTS系统)和语音设计变化可提升SQA性能。
  • 无参考TTS质量指标与下游问答准确性不相关;合成语音需进行任务特定评估。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。