語言識別技術對於保護和振興瀕危語言具有重要作用,但在極低資源場景下面臨嚴峻挑戰。澳大利亞原住民語言(AALs)由於資料極度稀缺,傳統遷移學習在適應新語言時常出現災難性遺忘。災難性遺忘是指模型在學習新任務時完全忘記舊任務的現象。在語言識別中,當模型從英語等高資源語言遷移到澳大利亞原住民語言時,經常出現這種情況。持續學習技術允許模型順序學習多個任務而不忘記。然而,在資料極少的情況下,標準持續學習仍然困難。
為突破這一瓶頸,研究人員提出了兩種混合持續學習方法:回放增強彈性權重鞏固(RA-EWC)和約束引導知識蒸餾(CGKD),旨在同時適配多種低資源原住民語言並維持對高資源語言的知識。RA-EWC方法透過儲存少量代表性樣本並在訓練新語言時重放它們,同時使用彈性權重約束來保護重要引數。CGKD方法則透過約束教師模型和學生模型之間的知識蒸餾,確保新語言的學習不影響已學語言的識別能力。
研究以Warlpiri、Dalabon和Dharawal三種原住民語言為目標,這些語言缺乏足夠的標註資料以訓練獨立模型。透過將預訓練的語音模型(如Wav2Vec 2.0)作為基座,引入持續學習機制,模型可在不忘記舊知識的前提下學習新語言。實驗結果顯示,兩種方法在語言識別準確率上均顯著優於標準微調和現有持續學習基線。例如,在Warlpiri上,RA-EWC和CGKD均取得了比微調更高的準確率。特別地,CGKD在保持高資源語言效能方面表現更佳,而RA-EWC在低資源語言適應上略有優勢。該工作證明了混合持續學習在極度低資源下的有效性,為數字包容提供了技術支撐。
該論文已被Interspeech 2026接收,程式碼與資料已開源。未來工作將拓展至更多原住民語言,並探索無監督持續學習正規化,進一步降低對標註資料的依賴。研究團隊來自澳大利亞某大學,與當地語言社群緊密合作,確保技術落地符合文化需求。作者包括Pravina Mylvaganam等五位研究人員,於2026年7月11日提交至arXiv。這一工作對於語言技術和文化保護具有重要意義,展示了人工智慧在促進語言多樣性方面的潛力。