多語言預訓練長期面臨一個數據層面的矛盾：高質量的人工翻譯平行語料能夠顯著促進跨語言遷移，但規模往往太小，難以支撐大規模預訓練；相比之下，機器翻譯的網絡語料可以把平行數據的規模擴展到預訓練所需的量級，卻又常被當作普通文本各自獨立採樣。Zhihong Huang 與四位合著者在論文《How to Use Parallel Data for Multilingual Pretraining》中，系統考察瞭如何真正利用平行數據的結構來改進多語言預訓練。
研究團隊提出的做法稱為平行預訓練（Parallel Pretraining，PPT）：把每篇源文檔與其譯文拼接在同一個訓練序列中，使模型在預訓練階段就顯式接觸到兩種語言之間的對齊關係。作為對照，標準預訓練（SPT）則按照常規做法獨立採樣源文檔和譯文，並不利用二者之間的平行結構。作者在匹配的token預算下從零訓練模型，對兩種方法進行了直接比較。
結果出乎意料。儘管此前的跨語言研究普遍報告平行數據帶來收益，但在這一設置下，單獨使用PPT並不能穩定地提升語言理解表現，其效果相對SPT並無一致優勢。作者進一步分析認為，PPT確實能夠建立起較強的跨語言基礎——這一點可以從模型更好地利用跨語言共享信息中得到印證——但平行訓練時出現的雙語上下文與下游單語任務輸入之間存在明顯的不匹配，這種不匹配限制了PPT在通用語言理解上的收益。
基於這一發現，論文提出借鑑“預訓練—微調”範式的兩階段方案：第一階段使用PPT構建跨語言基礎，第二階段繼續用SPT訓練，使模型重新適配標準的語言建模目標。實驗顯示，無論是在高資源還是低資源設置下，這一兩階段方法在相同訓練預算下都能穩定優於單獨使用標準預訓練，不僅在通用語言理解上有所提升，在跨語言任務上的表現也更好。
論文共18頁，含7幅圖和14張表，歸類於計算與語言（cs.CL）以及人工智能（cs.AI）方向，於2026年10月20日提交至arXiv（編號2610.28838）。其核心啓示在於：平行數據的價值並非簡單地“喂進去”就能兑現，而需要在訓練流程的不同階段以不同方式加以利用。