跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

通过一致性驱动的强化学习提升跨语言事实回忆能力

文章摘要

研究人员提出 PolyFact 数据集,并发现 GRPO 强化学习方法在提升大语言模型跨语言事实一致性上优于监督微调,同时能更好地泛化到未见语言。

来源arXiv Computational Linguistics作者: Jonathan von Rad, Louis Arts, George Burgess, Eleftheria Kolokytha, Harry O'Donnell, Ektor Oikonomidis Doumpas, Eduardo Sanchez, Yao Lu, Pontus Stenetorp
通过一致性驱动的强化学习提升跨语言事实回忆能力
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

来自 Jonathan von Rad 等九位研究者的论文《Improving Cross-Lingual Factual Recall via Consistency-Driven Reinforcement Learning》(通过一致性驱动的强化学习提升跨语言事实召回)于 2026 年 6 月 4 日提交至 arXiv,编号为 2606.06586v1,归类于计算与语言(cs.CL)方向,目前正处于 EMNLP 2026 的审稿阶段。研究聚焦于大语言模型中一个长期存在却较少被系统量化的问题:以英语数据为主的预训练让模型积累了丰富的世界知识,但当被要求用其他语言表达同样的知识时,模型往往无法可靠地给出正确答案,作者将这一现象称为“跨语言事实不一致”。

为了能够系统性地研究并缓解这一问题,研究团队构建了 PolyFact——一个大规模平行多语言事实问答数据集。该数据集包含 10 万条以 Wikidata 为事实依据的问答条目,覆盖 12 种在类型学上差异显著的语言,从而能够在同一批事实上对比模型在不同语言中的表现,而不受知识来源差异的干扰。这种平行设计是评估跨语言一致性、而非单纯多语言能力的关键所在。

在实验设计上,作者以 Qwen-2.5-7B 和 OLMo-2-1124-7B 两个开源模型为对象,比较了三种改进路线:轻量级持续预训练(CPT)、监督微调(SFT),以及基于 Group Relative Policy Optimization(GRPO)的强化学习。结果显示,GRPO 的表现始终优于 SFT,不仅在跨语言一致性指标上更强,而且能更好地泛化到训练中未曾见过的语言;相比之下,在平行数据上进行的 CPT 带来的额外收益十分有限。

除了性能比较,论文还进行了机制层面的分析。研究表明,GRPO 会重新组织模型内部的多语言路由方式:MLP 层和注意力头中的语言专门化程度有所降低,跨语言共享表征得到加强。这为“强化学习为何能改善跨语言事实召回”提供了可解释的内部证据,而不仅是 benchmark 分数上的提升。

作者表示将公开代码、模型与数据集,便于社区复现与后续研究。总体而言,这项工作的贡献在于同时提供了数据资源、训练方法对比和机制性解释,为缓解大模型跨语言事实不一致问题给出了一条以一致性为目标的强化学习路径。

展开要点与分析

文章情报

工程师进阶

要点

  • PolyFact 数据集包含 12 种语言、10 万条基于 Wikidata 的事实问答数据。
  • 在 Qwen-2.5-7B 和 OLMo-2-1124-7B 上,GRPO 在跨语言一致性和泛化能力上均优于 SFT。
  • 机制分析表明,GRPO 通过降低 MLP 层和注意力头的语言专门化程度,促进了共享的跨语言表示。
  • 研究团队开源了代码、模型和数据集。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。