跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

非英语语言推理的成本:以日语为例

文章摘要

本研究探讨了训练日语推理语言模型的可行性。通过使用GRPO对基于Qwen-3-Swallow-8B的日语持续预训练模型进行训练,研究者发现推理语言控制是可行的,但性能最多与英语推理基线持平。在日语文化基准测试中,模型表现甚至更差,表明日语推理并不能立即提升文化相关任务的表现。

来源arXiv Computational Linguistics作者: Yuu Jinnai
非英语语言推理的成本:以日语为例
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

推理语言模型(RLM)在英语推理任务上表现最佳,这是因为面向推理的训练数据大多为英语。然而,推理轨迹对于模型的可解释性和安全性至关重要,对用户和开发者都具有实用价值。因此,开发一个能够按用户选择的语言进行推理且保持高性能的模型是十分理想的。本研究以日语为例,探索了训练日语推理语言模型的可行性。

研究团队基于Qwen-3-Swallow-8B(一个从Qwen-3-8B持续预训练的日语大语言模型),通过GRPO(组相对策略优化)训练了一个日语推理变体。该变体在编码、数学和科学基准上进行了评估。结果显示,通过GRPO训练日语持续预训练模型可以实现推理语言控制,但其性能最多与强大的英语推理基线持平。

此外,研究团队还在日语文化基准上评估了该模型,发现其性能甚至不如基线模型。这表明,仅仅使用日语推理并不能自动提升文化相关任务的表现。该研究为多语言推理模型的开发提供了重要见解,但同时也指出,要实现跨语言的高效推理,仍需进一步研究如何更好地整合文化知识。该论文由Yuu Jinnai撰写,于2026年7月11日提交至arXiv,属于计算与语言、人工智能和机器学习领域。研究者强调,未来的工作应关注如何在保持推理能力的同时,更好地将文化知识融入模型,以提升非英语语言中的推理表现。

展开要点与分析

文章情报

工程师进阶

要点

  • 研究了训练日语推理语言模型的可行性。
  • 使用GRPO训练了Qwen-3-Swallow-8B的日语推理变体。
  • 性能与英语推理基线相当,但在文化基准上表现更差。
  • 推理语言控制可行,但需进一步研究以提升文化任务表现。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。