口語問答(SQA)技術長期以來主要集中於英語、中文等高資源語言,並且依賴於精心錄製的語音資料集。這極大地限制了語音與大語言模型結合的方法在低資源語言(如盧森堡語)中的推廣和應用。為了解決這一瓶頸,最新的一項研究探索了是否可以利用文本到語音(TTS)技術,為盧森堡語生成任務特定的口語問答訓練資料,從而避免大規模人工錄製問答語料庫的高昂成本。
研究團隊從現有的基於文本的問答資源出發,首先將問題翻譯成盧森堡語,隨後使用多種不同的TTS系統合成口語問題,並將其與對應的文本答案配對。他們採用了一種引數高效的SLAM風格架構,該架構透過一個可學習的投影器和LoRA介面卡,將凍結的Whisper語音編碼器連線到同樣凍結的多語言大語言模型後端。這種設計在保持模型效能的同時,大幅減少了需要訓練的引數量。
在實驗部分,研究團隊比較了三種TTS系統(MMS-TTS、Qwen3-TTS和OmniVoice)生成的合成語音,並構建了約4.8萬個問題的單源語料庫以及約23萬個問題的多源混合語料庫(結合了4種TTS系統)。他們使用真實的盧森堡語說話人條件在LLAMA-LB-Test上進行評估,結果清晰地顯示,使用多源語音資料和基於語音設計的合成訓練配置能夠帶來最強的口語問答效能。
一個特別值得注意的發現是,無參考的TTS質量評分(即不依賴原始語音的客觀指標)並不能單調地預測下游問答任務的準確率。這意味著,合成語音不能僅僅因為聽起來自然就被認為是好的訓練資料,而必須透過任務特定的評估來驗證其對模型訓練的有效性。這一結論為未來低資源語言語音技術的研究提供了重要的指導——在構建TTS訓練資料時,應當優先考慮資料多樣性和任務適配性,而非單純追求音訊的自然度。