这篇题为《通过方差感知评分标准奖励与GRPO改进面向心脏的医学问答大语言模型》的论文于2026年4月17日提交至arXiv，编号为arXiv:2606.05174v1，属于计算与语言（cs.CL）类别，并交叉涉及人工智能（cs.AI）。论文由Arash Ahmadi等六位作者共同完成，全文共27页。研究聚焦于如何利用基于评分标准的监督信号，通过组相对策略优化（GRPO）对大型语言模型进行后训练，从而提升其在心脏相关医学问答任务上的表现。
论文首先指出，大型语言模型在医疗健康领域展现出巨大潜力，但在真实场景中部署通用模型仍面临多重障碍：数据隐私约束限制了敏感医疗数据的使用，推理成本高昂使得大规模调用不经济，而边缘设备或终端设备上的本地运行又对模型规模和能效提出严苛要求。这些挑战共同推动了对更小、更高效模型的需求。然而，小模型若要在医学推理中保持可靠性，就必须依赖稳健的后训练策略，而不能仅靠预训练阶段的知识积累。
在此背景下，作者选择GRPO作为后训练方法，并以源自RaR-Medicine的评分标准监督信号为基础，针对心脏相关的医学问答任务进行优化。RaR-Medicine提供了一套结构化的评分准则，使模型输出可以依据多条标准逐项评估。但传统的评分标准奖励机制存在明显局限：显式聚合策略通常对各项标准进行加权二值化汇总，隐式聚合策略则依赖单一的总体李克特量表评分。这两种方式都会丢失标准层面的细粒度信息，尤其当反馈稀疏、涉及多标准且难以自动验证时，优化信号会变得贫弱且不稳定。
为解决上述问题，论文提出了一种方差感知奖励框架。该框架对“评分标准即奖励”中的显式和隐式聚合策略进行扩展，用基于标准级评分结果的连续解析奖励函数，取代原有的加权二值化标准聚合和单一总体评分。具体而言，新框架不再把每条标准简单判定为通过或不通过，而是从标准级结果中构造出连续可微的奖励信号，使模型能够获得更丰富的优化梯度。作者指出，这种形式化方法为稀疏、多标准且难以自动验证的反馈提供了更丰富的优化信号，并使得在策略强化学习过程更加稳定。
实验评估在一个保留的心脏相关HealthBench子集上进行。基线模型为Qwen3-14B，其准确率为0.362，F1分数为0.532。经过最佳GRPO变体后训练后，准确率提升至0.502，F1分数提升至0.668。这一结果不仅显著优于基线，而且与规模大得多的GPT-OSS-120B模型相比仍具竞争力——后者在该子集上的准确率为0.508，F1分数为0.674。换言之，一个14B参数级别的模型在精心设计的评分标准奖励驱动下，能够逼近甚至在某些指标上接近更大模型的医学问答水平。
论文的结论强调，精心设计的基于评分标准的奖励是一种切实可行的策略，能够有效提升大语言模型在心脏相关医学问答中的表现。作者还指出，该方法具有推广到其他基于评分标准的任务的潜力，因为其核心思想——用连续解析函数替代离散二值聚合，从而在稀疏多标准反馈下稳定强化学习——并不局限于心脏病学领域。
从时间线来看，该论文于2026年4月17日03:08:55 UTC以v1版本提交，文件大小约746 KB。论文提供了PDF、实验性HTML以及TeX源码等多种访问形式，并附有DOI链接。其评论栏注明全文共27页，主题分类为cs.CL，同时可交叉浏览至cs.AI。整体而言，这项研究为资源受限场景下的医疗AI部署提供了一条有前景的后训练技术路径，同时也提醒读者：评分标准的设计质量与奖励函数的构造方式，会直接影响强化学习后训练能否在专业医学领域取得稳定收益。