跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

Aryabhata 2:通过强化学习扩展高级STEM推理能力

文章摘要

Aryabhata 2 是一个面向竞争性STEM考试(如JEE和NEET)的推理型语言模型,基于GPT-OSS-20B通过强化学习后训练构建,在提升推理性能的同时将输出token减少最多64%。

来源arXiv Computational Linguistics作者: Ritvik Rastogi, Vishal Singh, Tejas Chaudhari, Sandeep Varma
Aryabhata 2:通过强化学习扩展高级STEM推理能力
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

Aryabhata 2 是一项针对竞争性 STEM 考试场景提出的推理型语言模型研究,论文编号为 arXiv:2605.28829,于 2026 年 4 月 10 日提交,作者为 Ritvik Rastogi 及另外三位合作者。该论文归类于计算与语言(cs.CL),并交叉涉及人工智能(cs.AI)以及计算与社会(cs.CY)等方向。研究的出发点在于:JEE、NEET 这类竞争性 STEM 考试要求多步骤符号推理、精确数值计算,以及对物理、化学和数学概念的深入理解,而现有大语言模型虽然在常见推理基准上表现强劲,却难以在数百万学生提问的真实规模下稳定部署,因为这类场景需要领域特定且结构一致的问题求解能力。

为应对这一挑战,研究团队提出了 Aryabhata 2,一个面向竞争性 STEM 考试的推理型语言模型,采用强化学习后训练的方式构建。具体而言,他们利用 PhysicsWallah 内部题库构造了高质量的训练课程,并以可验证奖励的强化学习(RLVR)对 GPT-OSS-20B 基础模型进行后训练。训练策略上有两个关键设计:一是延长强化学习的训练时间,二是通过逐步扩大 rollout 组规模来拓宽探索范围,从而在提升推理能力的同时避免过早收敛。

在评估方面,论文覆盖了竞争性考试基准,包括 JEE Main、JEE Advanced 和 NEET,同时还使用了分布外推理数据集,例如 AIME、HMMT、MMLU-Pro、MMLU-Redux 2.0 与 GPQA,以检验模型的泛化能力。结果显示,Aryabhata 2 在竞争性 STEM 推理任务上优于其基础模型 GPT-OSS-20B,并且所需的输出 token 数量显著减少,最多可减少 64%。这一效率提升对于面向海量学生提问的实际部署尤为重要,因为更短的输出意味着更低的推理成本与更快的响应速度。

从方法层面看,该工作的核心在于将领域题库与可验证奖励结合,使强化学习信号能够直接对应答案正确性,而非依赖难以规模化的偏好标注。渐进式扩大的 rollout 组规模则有助于模型在训练后期探索更多解题路径。论文的摘要未披露具体的训练数据规模、奖励函数细节以及各基准上的精确分数,这些内容有待全文进一步说明。总体而言,Aryabhata 2 展示了面向垂直教育场景的强化学习后训练路径:在特定考试领域内提升推理质量,同时通过更精简的输出降低大规模服务成本,为教育类 AI 的规模化部署提供了一个可参考的案例。

展开要点与分析

文章情报

工程师进阶

要点

  • Aryabhata 2 基于 GPT-OSS-20B,利用 PhysicsWallah 内部题库和可验证奖励的强化学习进行后训练。
  • 训练采用延长强化学习与渐进增大 rollout 组规模的探索策略。
  • 在 JEE Main、JEE Advanced、NEET 以及 AIME、HMMT、MMLU-Pro、GPQA 等基准上超越基座模型。
  • 输出 token 最多减少 64%,兼顾推理质量与部署效率。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。