シンガポールの文脈に合わせた音声言語モデルの効率的な適応
本研究は、元のトレーニングデータにアクセスできず、多言語の音声クエリ対話が必要な機密領域（シンガポールの内政チーム）において、オープンソースの音声言語モデル（SLM）を効率的に適応させる方法を探求。LoRAファインチューニング、壊滅的忘却を防ぐ代替テキストQAデータセット、および音声タスク向けに調整されたCoBa再重み付けスキームを組み合わせ、504,853サンプルの多言語QAデータセットHTD-multilingual-QAを構築。結果として得られたHT-Moonstone（5B）は、ほとんどのタスクで最大7倍の規模のSLMに匹敵または上回り、アクセントと性別認識で全評価モデル中最高を達成し、元の音声QA能力の低下は2％未満。
音声言語モデル（SLM）は、音声認識と言語推論を単一のモデルで実現するが、機密性の高い領域（例：法執行、防衛）への適応はほとんど研究されていない。特に、元のトレーニングデータにアクセスできず、多言語の音声クエリによるインタラクションが要求される場合、適応はさらに困難となる。シンガポールの研究チームは、この問題に取り組み、オープンソースのSLMをシンガポール内政チーム（Home Team）の5つの音声タスクに適応させる効率的な手法を開発した。対象言語はシンガポールの4つの公用語（英語、中国語、マレー語、タミル語）である。この手法は、以下の3つの主要な構成要素からなる。第一に、低ランク適応（LoRA）を用いたパラメータ効率的な微調整により、モデル全体の1%未満のパラメータのみを更新し、事前学習された知識を保持する。第二に、代替テキストQAデータセットを構築し、テキスト形式の質問応答対を用いて、音声タスクの微調整中に発生する壊滅的忘却を防止する。第三に、マルチタスク学習目標を設計し、本来は視覚タスク用に開発されたCoBa適応的損失重み付けスキームを音声領域に適応させ、異なる音声タスクの寄与を自動的にバランスする。さらに、研究チームはHTD-multilingual-QAデータセットを作成した。このデータセットは504,853サンプルからなり、テキストと音声の両方のモダリティを含む多言語QAペアで構成され、コマンド認識、アクセント分類、性別認識、音声QA、言語識別などのタスクをカバーする。これらの手法で訓練されたHT-Moonstoneモデル（5Bパラメータ）は、ほとんどのタスクで最大7倍の規模（約35Bパラメータ）のSLMと同等以上の性能を達成し、特にアクセント認識と性別認識では評価されたすべてのモデルの中で最良の結果を示した。重要な点として、元の音声QA能力の低下は2%未満に抑えられ、効率的な適応戦略の有効性が実証された。この研究は、データアクセスが制限され、多言語環境でのSLM展開に実用的な解決策を提供する。関連論文はarXiv（ID:2607.10092）に提出されており、10ページ・2図で手法、実験設定、結果が詳述されている。