高效將口語語言模型適應於新加坡語境
本研究探索了在無法訪問原始訓練資料且需要多語言語音查詢互動的敏感領域（如新加坡內政團隊）中，如何高效地使開源口語語言模型（SLM）適應。透過結合LoRA微調、防止災難性遺忘的替代文本問答資料集以及針對語音任務改編的CoBa重加權方案的多工目標，研究團隊構建了包含504,853個樣本的多語言問答資料集HTD-multilingual-QA，最終得到的HT-Moonstone（5B）模型在大多數任務上匹敵或超越規模大7倍的SLM，並在口音和性別識別上表現最佳，同時原始語音問答能力損失不到2%。
口語語言模型（SLM）能夠同時處理語音感知與語言推理，但在敏感領域（如執法、國防）的適配仍面臨挑戰，尤其是原始訓練資料通常不可獲取，且需要支援多語言的語音查詢互動。來自新加坡的研究團隊近期提出了一套高效的適配方法，將開源SLM成功應用於新加坡內政團隊（Home Team）的五個核心語音任務，覆蓋該國四種官方語言（英語、華語、馬來語、泰米爾語）。該方法的核心創新包括三點：首先，採用低秩適配（LoRA）技術進行引數高效微調，僅更新模型不到1%的引數，從而保留模型的預訓練知識；其次，構建了一個替代文本問答資料集，透過文本形式的問答對來防止語音任務微調中常見的災難性遺忘問題；最後，設計了一個多工學習目標，將原本用於視覺任務的CoBa自適應損失加權方案改編至語音領域，自動平衡不同語音任務的貢獻。為支撐該方法，團隊還建立了HTD-multilingual-QA資料集，包含504,853個樣本，涵蓋文本和語音兩種模態的多語言問答對，覆蓋命令識別、口音分類、性別識別、語音問答和語言辨識等任務。基於上述方法訓練的HT-Moonstone模型（5B引數）在大多數任務上達到了與規模大7倍的SLM（約35B引數）相當甚至更優的效能，尤其在口音和性別識別任務上取得了所有評估模型中的最佳結果。更重要的是，該模型在保持原始語音問答能力方面表現優異，效能損失不到2%，證明了其高效適應的能力。這項研究為資料受限且多語言環境下的SLM部署提供了切實可行的解決方案，相關論文已提交至arXiv（編號2607.10092），全文10頁幷包含2幅圖表，詳細說明了方法、實驗設定和結果。