语言识别技术对于保护和振兴濒危语言具有重要作用,但在极低资源场景下面临严峻挑战。澳大利亚原住民语言(AALs)由于数据极度稀缺,传统迁移学习在适应新语言时常出现灾难性遗忘。灾难性遗忘是指模型在学习新任务时完全忘记旧任务的现象。在语言识别中,当模型从英语等高资源语言迁移到澳大利亚原住民语言时,经常出现这种情况。持续学习技术允许模型顺序学习多个任务而不忘记。然而,在数据极少的情况下,标准持续学习仍然困难。
为突破这一瓶颈,研究人员提出了两种混合持续学习方法:回放增强弹性权重巩固(RA-EWC)和约束引导知识蒸馏(CGKD),旨在同时适配多种低资源原住民语言并维持对高资源语言的知识。RA-EWC方法通过存储少量代表性样本并在训练新语言时重放它们,同时使用弹性权重约束来保护重要参数。CGKD方法则通过约束教师模型和学生模型之间的知识蒸馏,确保新语言的学习不影响已学语言的识别能力。
研究以Warlpiri、Dalabon和Dharawal三种原住民语言为目标,这些语言缺乏足够的标注数据以训练独立模型。通过将预训练的语音模型(如Wav2Vec 2.0)作为基座,引入持续学习机制,模型可在不忘记旧知识的前提下学习新语言。实验结果显示,两种方法在语言识别准确率上均显著优于标准微调和现有持续学习基线。例如,在Warlpiri上,RA-EWC和CGKD均取得了比微调更高的准确率。特别地,CGKD在保持高资源语言性能方面表现更佳,而RA-EWC在低资源语言适应上略有优势。该工作证明了混合持续学习在极度低资源下的有效性,为数字包容提供了技术支撑。
该论文已被Interspeech 2026接收,代码与数据已开源。未来工作将拓展至更多原住民语言,并探索无监督持续学习范式,进一步降低对标注数据的依赖。研究团队来自澳大利亚某大学,与当地语言社区紧密合作,确保技术落地符合文化需求。作者包括Pravina Mylvaganam等五位研究人员,于2026年7月11日提交至arXiv。这一工作对于语言技术和文化保护具有重要意义,展示了人工智能在促进语言多样性方面的潜力。