話し言葉質問応答(SQA)技術は、これまで主に英語や中国語などの高リソース言語と、注意深く録音された音声データに焦点を当ててきました。そのため、音声と大規模言語モデルを組み合わせた手法が、ルクセンブルク語のような低リソース言語環境で応用されることはほとんどありませんでした。この課題を解決するため、最新の研究では、テキスト音声合成(TTS)を活用してルクセンブルク語向けのタスク固有のSQA訓練データを生成できるかどうかを検討しました。
研究チームは、既存のテキストベースの質問応答リソースを出発点とし、質問をルクセンブルク語に翻訳した上で、複数の異なるTTSシステムを用いて音声質問を合成し、テキスト回答とペアにしました。彼らはパラメータ効率の良いSLAMスタイルのアーキテクチャを採用し、凍結されたWhisperエンコーダを学習可能なプロジェクタとLoRAアダプタを介して、凍結された多言語大規模言語モデルバックエンドに接続しました。この設計により、モデルの性能を維持しつつ、学習するパラメータ数を大幅に削減しています。
実験では、MMS-TTS、Qwen3-TTS、OmniVoiceの3種類のTTSシステムを比較し、約4.8万質問の単一ソースコーパスと、約23万質問のマルチソース混合コーパス(4つのTTSシステムを組み合わせ)を構築しました。評価には、実際のルクセンブルク語話者による2つの条件を用い、LLAMA-LB-Testで性能を測定しました。その結果、マルチソースの音声データと音声デザインに基づく合成訓練構成が、最も高いSQA性能をもたらすことが明らかになりました。
特筆すべき発見として、参照なしのTTS品質スコア(元の音声を必要としない客観的な指標)は、下流の質問応答性能を単調に予測しないことが示されました。これは、合成音声が自然に聞こえるからといって、それが必ずしも有効な訓練データになるわけではなく、タスク固有の評価を通じてその有用性を検証する必要があることを意味します。この結論は、低リソース言語の音声技術開発において、音声の自然さだけでなく、データの多様性とタスク適合性を優先すべきだという重要な指針を提供しています。