多语言预训练长期面临一个数据层面的矛盾：高质量的人工翻译平行语料能够显著促进跨语言迁移，但规模往往太小，难以支撑大规模预训练；相比之下，机器翻译的网络语料可以把平行数据的规模扩展到预训练所需的量级，却又常被当作普通文本各自独立采样。Zhihong Huang 与四位合著者在论文《How to Use Parallel Data for Multilingual Pretraining》中，系统考察了如何真正利用平行数据的结构来改进多语言预训练。
研究团队提出的做法称为平行预训练（Parallel Pretraining，PPT）：把每篇源文档与其译文拼接在同一个训练序列中，使模型在预训练阶段就显式接触到两种语言之间的对齐关系。作为对照，标准预训练（SPT）则按照常规做法独立采样源文档和译文，并不利用二者之间的平行结构。作者在匹配的token预算下从零训练模型，对两种方法进行了直接比较。
结果出乎意料。尽管此前的跨语言研究普遍报告平行数据带来收益，但在这一设置下，单独使用PPT并不能稳定地提升语言理解表现，其效果相对SPT并无一致优势。作者进一步分析认为，PPT确实能够建立起较强的跨语言基础——这一点可以从模型更好地利用跨语言共享信息中得到印证——但平行训练时出现的双语上下文与下游单语任务输入之间存在明显的不匹配，这种不匹配限制了PPT在通用语言理解上的收益。
基于这一发现，论文提出借鉴“预训练—微调”范式的两阶段方案：第一阶段使用PPT构建跨语言基础，第二阶段继续用SPT训练，使模型重新适配标准的语言建模目标。实验显示，无论是在高资源还是低资源设置下，这一两阶段方法在相同训练预算下都能稳定优于单独使用标准预训练，不仅在通用语言理解上有所提升，在跨语言任务上的表现也更好。
论文共18页，含7幅图和14张表，归类于计算与语言（cs.CL）以及人工智能（cs.AI）方向，于2026年10月20日提交至arXiv（编号2610.28838）。其核心启示在于：平行数据的价值并非简单地“喂进去”就能兑现，而需要在训练流程的不同阶段以不同方式加以利用。