跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

证明步骤验证何时值得付出成本?——开放式权重数学推理中“认证或拒绝”验证的运行要求

文章摘要

一篇被 NeurIPS 2026 MATH-AI 研讨会接收的论文系统评估了证明步骤验证流程:在 GPQA 和 AIME 上,认证能将答案匹配精度提升 31 到 46 个百分点,但只覆盖 35% 和 21% 的尝试;在 MATH-500 上收益有限而覆盖率损失显著。研究还发现“无效证明构造”这一执行失败模式,并指出当前审计缺乏人类或形式化内核的真值基准。

来源arXiv AI作者: Abhinav Gupta, Ben Slivinski, Yashica Patodia, Michael Saldivar
证明步骤验证何时值得付出成本?——开放式权重数学推理中“认证或拒绝”验证的运行要求
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

这篇题为《证明步骤验证何时值得付出成本?——开放式权重数学推理中“认证或拒绝”验证的运行要求》的论文已被第六届 NeurIPS 数学推理与 AI 研讨会(MATH-AI)接收。作者 Abhinav Gupta 与另外三位研究者关注一个日益流行的推理时验证范式:将求解器的答案重写为带类型的步骤序列,再由大语言模型(LLM)评判器逐步判断每一步是否成立,最终决定“认证”该答案或“拒绝”。这类方法通常被宣传为提高数学推理可靠性的手段,但论文的核心问题是:在开放式权重模型上,这种验证到底在什么条件下划算?

研究团队在 GPQA、AIME-2025 以及 MATH-500 的一个子集上评估了该流程。结果显示,认证带来的精度提升高度依赖于任务难度和模型配置。在较强的 GPQA 配置上,认证将答案键匹配精度提高了 31 个百分点;在 AIME 上提升更为显著,达到 46 个百分点。然而,这种精度提升是以大幅牺牲覆盖率为代价的:模型分别只对 35% 和 21% 的尝试给出了认证答案,其余大量问题被直接拒绝。换言之,验证器通过“弃权”换取了剩余答案的可靠性。

在 MATH-500 这类模型已接近性能上限的基准上,情况则完全不同。认证带来的精度增益最多只有 5 个百分点,而覆盖率却损失了 13 到 27 个百分点。这意味着对于已经表现很好的模型,引入证明步骤验证可能得不偿失——它拒绝掉大量本来正确的答案,却几乎不提升剩余答案的质量。这一发现对“验证总是有益”的直觉构成了直接挑战。

论文还将验证器与一个输出 token 数量匹配的自一致性(self-consistency)选择器进行了对比。自一致性选择器在 35% 的覆盖率下达到了 82.9% 的精度,而验证器合并后的精度为 87.6%。两者的配对差异为 +4.8 个百分点,但 95% 置信区间为 [-8.2, 18.5],跨越零,说明这一差异在统计上并不显著。换句话说,一个简单得多的基线方法在相近覆盖率下可以接近复杂的证明步骤验证器的表现。

除了精度与覆盖率的权衡,研究还揭示了一种此前较少被讨论的失败模式。在一个诊断样本中,88 个已完成的问题里有 52 个最终以“无效证明构造”告终——也就是说,系统在构造证明步骤的阶段就失败了,这些案例根本没有进入 LLM 评判器环节。这提示我们,证明步骤验证流程的瓶颈可能不仅在于评判器的判断质量,还在于前置的步骤重写和类型化构造是否可靠。把执行失败与判断错误混在一起报告,会掩盖问题的真正来源。

论文进一步用外部 LLM 对渲染后的认证链进行接受度审计。结果显示,外部 LLM 对认证链的接受率为 61.0% 到 67.6%,而同一批案例的答案键匹配率为 87.6%。这一差距表明,答案正确并不等于证明过程被外部评审者认可;渲染出的证明链在可读性和可信度上仍有明显缺口。不过作者也谨慎地指出,这些审计本身缺乏人类标注或形式化内核(如 Lean、Coq)提供的真值基准,因此只能作为参考信号,而非严格意义上的证明正确性度量。

更值得警惕的是,开放式权重审计器对之间的机会校正一致性接近零。这意味着两个独立的 LLM 审计器在判断证明是否有效时几乎无法达成超出随机水平的一致——它们衡量的更多是彼此之间的一致性,而不是相对于证明真理的准确性。在没有可靠真值的情况下,用 LLM 审计 LLM 的做法可能产生看似合理却无法验证的信号。

基于这些结果,作者提出了三项报告建议:第一,将执行失败(如无效证明构造)与评判器拒绝分开统计;第二,单独报告被选中答案的精度与覆盖率,而不是只给一个混合指标;第三,引入独立评估的证明有效性度量,例如人类专家评审或形式化内核检查。论文提供了按配置划分的完整结果和评估细节,代码也已公开。对于正在构建数学推理验证流水线的研究者和工程师而言,这项工作给出了一个务实的提醒:证明步骤验证并非普适的免费午餐,它的价值取决于任务难度、模型能力以及失败模式是否被正确分解和度量。

展开要点与分析

文章情报

投资人进阶

要点

  • 在 GPQA 强配置和 AIME 上,认证分别将精度提升 31 和 46 个百分点,但仅回答 35% 和 21% 的尝试
  • 在接近上限的 MATH-500 上,精度提升不超过 5 点,却损失 13–27 点的覆盖率
  • 输出 token 匹配的自一致性选择器达到 82.9% 精度与 35% 覆盖率,与验证器合并的 87.6% 相比差异不显著
  • 88 个已完成问题中有 52 个因无效证明构造而从未到达评判环节;外部 LLM 对认证链的接受率为 61.0–67.6%
  • 审计缺乏人类或形式化内核真值,开放式权重审计器对之间的机会校正一致性接近零

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。