口语问答(SQA)技术长期以来主要集中于英语、中文等高资源语言,并且依赖于精心录制的语音数据集。这极大地限制了语音与大语言模型结合的方法在低资源语言(如卢森堡语)中的推广和应用。为了解决这一瓶颈,最新的一项研究探索了是否可以利用文本到语音(TTS)技术,为卢森堡语生成任务特定的口语问答训练数据,从而避免大规模人工录制问答语料库的高昂成本。
研究团队从现有的基于文本的问答资源出发,首先将问题翻译成卢森堡语,随后使用多种不同的TTS系统合成口语问题,并将其与对应的文本答案配对。他们采用了一种参数高效的SLAM风格架构,该架构通过一个可学习的投影器和LoRA适配器,将冻结的Whisper语音编码器连接到同样冻结的多语言大语言模型后端。这种设计在保持模型性能的同时,大幅减少了需要训练的参数量。
在实验部分,研究团队比较了三种TTS系统(MMS-TTS、Qwen3-TTS和OmniVoice)生成的合成语音,并构建了约4.8万个问题的单源语料库以及约23万个问题的多源混合语料库(结合了4种TTS系统)。他们使用真实的卢森堡语说话人条件在LLAMA-LB-Test上进行评估,结果清晰地显示,使用多源语音数据和基于语音设计的合成训练配置能够带来最强的口语问答性能。
一个特别值得注意的发现是,无参考的TTS质量评分(即不依赖原始语音的客观指标)并不能单调地预测下游问答任务的准确率。这意味着,合成语音不能仅仅因为听起来自然就被认为是好的训练数据,而必须通过任务特定的评估来验证其对模型训练的有效性。这一结论为未来低资源语言语音技术的研究提供了重要的指导——在构建TTS训练数据时,应当优先考虑数据多样性和任务适配性,而非单纯追求音频的自然度。