跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

跨语言迁移中语言亲缘性与任务对齐的区分

文章摘要

一项针对七个大型语言模型的研究发现,在阿拉伯语上微调后,模型对闪米特语系语言的零样本阅读理解提升并不是语言亲缘性带来的迁移效应,而是任务格式对齐的结果。

来源arXiv Computational Linguistics作者: Ahmed Haj Ahmed, Ruochen Zhang, Alvin Grissom II
跨语言迁移中语言亲缘性与任务对齐的区分
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于2026年4月26日发布了一篇题为《Disentangling Linguistic Relatedness from Task Alignment in Cross-Lingual Transfer》(将跨语言迁移中的语言亲缘性与任务对齐区分开来)的新论文,作者为 Ahmed Haj Ahmed 等三人,编号 arXiv:2606.19346v1,属于计算与语言(cs.CL)类别,并交叉列入人工智能(cs.AI)。该研究聚焦一个长期困扰跨语言迁移研究的问题:当模型在一种语言上微调后,其在其他语言上的表现提升,究竟源自语言之间的谱系亲缘关系,还是仅仅来自对任务格式的对齐。

研究设计上,作者选取了七个参数量从40亿到6710亿不等的大型语言模型,在阿拉伯语上进行微调,随后在闪米特语系语言以及作为对照的非闪米特语言上评测零样本阅读理解能力。样本覆盖了稠密架构与混合专家(Mixture-of-Experts)架构两类模型,从而能够在不同规模与不同结构之间比较迁移效果。

实验结果没有支持“闪米特语系专属迁移”的假设。论文发现,基线表现较弱的模型在所有语言上都出现了显著提升,而基线本身较强的模型无论面对何种语言家族,增益都相当有限。换言之,性能变化主要取决于模型的初始水平,而非目标语言与微调语言之间是否存在谱系关联。

为验证这一结论,作者还做了思维链(chain-of-thought)消融实验。结果显示,那些从微调中获益最多的模型,同样也能从推理阶段的思维链提示中获得大致相同的收益。作者据此认为,微调与推理时推理这两种机制实际上都在解决任务格式对齐的问题,而不是在实现跨语言的知識迁移。

这一发现对跨语言迁移研究的常见假设提出了挑战:语言亲缘性可能并非迁移效果的主要驱动因素,任务格式的匹配程度才是关键变量。论文于2026年4月26日00:59:09 UTC提交第一版,全文约54KB,提供PDF、实验性HTML以及TeX源码等多种获取方式,并附有DOI(10.48550/arXiv.2606.19346)。

展开要点与分析

文章情报

工程师进阶

要点

  • 研究者在阿拉伯语上微调了参数规模从4B到671B的七个大模型,并在闪米特语系语言与非闪米特语系对照语言上测试零样本阅读理解。
  • 无论稠密架构还是混合专家架构,都没有出现闪米特语系特有的迁移优势。
  • 基线较弱的模型在所有语言上都有大幅提升,强基线模型则提升有限,与语系无关。
  • 思维链消融实验显示,微调与推理时推理带来的收益相似,说明二者主要解决的是任务格式对齐问题。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。