跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

攀登阶梯:在低资源环境下自动化数据管线并复现基线

文章摘要

该论文针对低资源语言西西里语的机器翻译,重建了基于双语期刊《Arba Sicula》PDF的平行语料提取流程,并将其移植到无Perl的现代实现中。研究比较了从零训练的小型Transformer与经低秩微调的预训练NLLB模型,发现预训练模型明显更优,分阶段训练对译入西西里语的提升大于译出;但多语适配器会损害未训练方向的表现。

来源arXiv Computational Linguistics作者: Donato Meoli, Eryk Wdowiak
攀登阶梯:在低资源环境下自动化数据管线并复现基线
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

大规模多语翻译系统如今已经覆盖西西里语,但其训练数据来自噪声大、缺乏规范的网络文本。为提升翻译质量,Meoli与Wdowiak在这篇论文中重新开发了Wdowiak此前为西西里语定制的小型神经机器翻译(NMT)系统,目标是在低资源条件下把整条数据管线自动化,并复现可供比较的基线。

研究的第一步是重建平行语料。作者从双语期刊《Arba Sicula》的PDF中抽取对齐文本,并把这一流程迁移到仍在维护的软件上。句子对齐使用与语言无关的句编码器,其阈值以已有的人工对齐结果为参照进行调整,随后再过滤掉自动对齐中常见的典型错误。这样得到的语料既保留了期刊的文学性文本,又降低了自动流程引入的噪声。

第二步是文本处理。原始系统中的分词以及偏向词尾变化(desinence)的子词切分被移植到一个不含Perl的实现中,使整个流程更易维护和复现。所有结果都在一个从该期刊抽取的冻结测试集上评估,以保证不同方案之间具有可比性。

在建模方面,作者比较了两类方案:一是从零开始训练的小型Transformer,二是通过低秩微调适配的预训练NLLB模型。实验覆盖两个翻译方向,并引入近亲语言意大利语作为桥接语言。此外,作者还把原系统的反向训练配方移植到预训练模型上,即先在网络西西里语的正向打分回译数据上训练一个阶段,再在整理过的文学文本上训练一个阶段。

结果显示,预训练模型在两个方案中明显占优。分阶段训练对译入西西里语的改善大于译出西西里语。在原系统的测试集上、且在其评分所用的分词空间中,使用更大适配器和更多回译数据的分阶段模型在涉及英语的方向上优于原反向训练配方,而在西西里语与意大利语之间则低于该配方。

作者还指出一个限制:多语适配器会损害其未接受训练的方向,因此难以直接作为通用多语模型使用。这也提示低资源语言适配需要在专门化性能与通用性之间做出权衡。该论文共17页,含6张表,属于计算与语言(cs.CL)方向,ACM分类为I.2.7,于2026年10月21日提交至arXiv。

展开要点与分析

文章情报

工程师进阶

要点

  • 以语言无关的句编码器对齐双语期刊句子,并用人工对齐结果调阈值、过滤自动对齐常见错误
  • 将分词和偏向词尾变化的子词切分移植为不依赖Perl的实现,并在期刊抽取的冻结测试集上评估
  • 预训练NLLB远优于从零训练的小型Transformer,分阶段训练对译入西西里语帮助更大
  • 多语适配器会降低未训练方向的质量,限制其作为通用多语模型的用途

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。