来自 Jonathan von Rad 等九位研究者的论文《Improving Cross-Lingual Factual Recall via Consistency-Driven Reinforcement Learning》(通过一致性驱动的强化学习提升跨语言事实召回)于 2026 年 6 月 4 日提交至 arXiv,编号为 2606.06586v1,归类于计算与语言(cs.CL)方向,目前正处于 EMNLP 2026 的审稿阶段。研究聚焦于大语言模型中一个长期存在却较少被系统量化的问题:以英语数据为主的预训练让模型积累了丰富的世界知识,但当被要求用其他语言表达同样的知识时,模型往往无法可靠地给出正确答案,作者将这一现象称为“跨语言事实不一致”。
为了能够系统性地研究并缓解这一问题,研究团队构建了 PolyFact——一个大规模平行多语言事实问答数据集。该数据集包含 10 万条以 Wikidata 为事实依据的问答条目,覆盖 12 种在类型学上差异显著的语言,从而能够在同一批事实上对比模型在不同语言中的表现,而不受知识来源差异的干扰。这种平行设计是评估跨语言一致性、而非单纯多语言能力的关键所在。
在实验设计上,作者以 Qwen-2.5-7B 和 OLMo-2-1124-7B 两个开源模型为对象,比较了三种改进路线:轻量级持续预训练(CPT)、监督微调(SFT),以及基于 Group Relative Policy Optimization(GRPO)的强化学习。结果显示,GRPO 的表现始终优于 SFT,不仅在跨语言一致性指标上更强,而且能更好地泛化到训练中未曾见过的语言;相比之下,在平行数据上进行的 CPT 带来的额外收益十分有限。
除了性能比较,论文还进行了机制层面的分析。研究表明,GRPO 会重新组织模型内部的多语言路由方式:MLP 层和注意力头中的语言专门化程度有所降低,跨语言共享表征得到加强。这为“强化学习为何能改善跨语言事实召回”提供了可解释的内部证据,而不仅是 benchmark 分数上的提升。
作者表示将公开代码、模型与数据集,便于社区复现与后续研究。总体而言,这项工作的贡献在于同时提供了数据资源、训练方法对比和机制性解释,为缓解大模型跨语言事实不一致问题给出了一条以一致性为目标的强化学习路径。