多言語事前学習にはデータ面の根本的な課題がある。高品質な人手翻訳の並列コーパスはクロスリンガル転移を促すが、大規模事前学習には規模が小さすぎる。機械翻訳によるウェブコーパスはこの制約を補い、事前学習規模の並列データを可能にするが、標準的な多言語事前学習では原文と翻訳が独立にサンプリングされ、その並列構造は明示的には使われていない。Zhihong Huang氏ら5名の論文「How to Use Parallel Data for Multilingual Pretraining」は、この並列構造を実際に活用する方法を体系的に検討している。
著者らが提案するのは並列事前学習（PPT）である。各文書をその翻訳と同一の訓練系列に連結することで、モデルは事前学習段階から二言語間の対応関係に触れることになる。対照となる標準事前学習（SPT）は、原文と翻訳を独立にサンプリングする従来通りの手法で、並列構造を利用しない。著者らは同一のトークン予算のもとでモデルをゼロから学習させ、両者を直接比較した。
結果は意外なものだった。従来のクロスリンガル研究では並列データの利点が報告されてきたにもかかわらず、この設定ではPPT単独では言語理解が一貫して向上せず、SPTに対する明確な優位性は見られなかった。さらなる分析によれば、PPTはクロスリンガルな基盤を確かに構築する（言語間で共有される情報をよりよく活用できることがこれを裏付ける）ものの、並列訓練時の二言語文脈と下流の単言語タスク入力との間に不一致があり、それが汎用言語理解における利得を制限しているという。
この知見に基づき、論文は「事前学習—微調整」の枠組みに倣った2段階手法を提案する。第1段階でPPTを用いてクロスリンガルな基盤を構築し、第2段階でSPTを続けて標準的な言語モデリングへ適応させる。実験では、高リソース・低リソースのいずれの設定でも、この2段階手法が同一訓練予算のもとで標準事前学習単独を一貫して上回り、汎用言語理解だけでなくクロスリンガルタスクの性能も改善した。
論文は18ページ、図7点、表14点からなり、計算と言語（cs.CL）および人工知能（cs.AI）に分類されている。2026年10月20日にarXivへ投稿された（番号2610.28838）。示唆されるのは、並列データの価値は単に投入すれば得られるものではなく、訓練プロセスの段階に応じて異なる形で活用する必要があるということだ。