「証明ステップ検証はいつコストに見合うか——オープンウェイト数学推論における『認証か拒否か』検証の運用要件」と題されたこの論文は、第6回 NeurIPS 数学推論と AI ワークショップ(MATH-AI)に採択された。著者の Abhinav Gupta 氏ら4名の研究者は、近年広まりつつある推論時検証の枠組みに注目している。それは、求解器の回答を型付きのステップ列に書き換え、大規模言語モデル(LLM)の審査器が各ステップの妥当性を段階的に判断し、最終的にその回答を「認証」するか「拒否」するかを決めるというものである。こうした手法は数学推論の信頼性を高める手段として喧伝されがちだが、本論文の中心的な問いは、オープンウェイトモデルにおいてこの検証が実際にどのような条件下で割に合うのか、という点にある。
研究チームは GPQA、AIME-2025、そして MATH-500 の一部サブセットでこのパイプラインを評価した。結果として、認証による精度向上はタスクの難易度とモデル構成に強く依存することが示された。性能の高い GPQA 構成では、認証によって解答キー一致の精度が31ポイント上昇し、AIME ではさらに顕著な46ポイントの向上が見られた。しかし、この精度向上はカバレッジの大幅な犠牲と引き換えである。モデルが認証付きの回答を出せたのは、それぞれ試行の35%と21%にとどまり、残りの多くの問題は単純に拒否された。言い換えれば、検証器は「棄権」によって残った回答の信頼性を買っているのである。
モデルがすでに性能上限に近い MATH-500 のようなベンチマークでは、状況はまったく異なる。認証による精度の利得は最大でも5ポイントにすぎず、一方でカバレッジは13〜27ポイント失われた。これは、すでに高い性能を持つモデルにとって証明ステップ検証の導入が割に合わない可能性を示している。本来正しい回答を大量に拒否しながら、残った回答の質をほとんど高めていないからだ。この発見は「検証は常に有益」という直感に正面から挑むものである。
論文はさらに、検証器と、出力トークン数を揃えた自己整合性(self-consistency)セレクタを比較している。自己整合性セレクタは35%のカバレッジで82.9%の精度を達成し、検証器の統合精度87.6%と比べられた。両者の対応差は+4.8ポイントだが、95%信頼区間は[-8.2, 18.5]とゼロをまたいでおり、この差は統計的に有意ではない。つまり、はるかに単純なベースライン手法でも、同程度のカバレッジのもとで複雑な証明ステップ検証器の性能に近づけるということだ。
精度とカバレッジのトレードオフに加えて、研究はこれまであまり議論されてこなかった失敗モードも明らかにした。診断サンプルでは、完了した88問のうち52問が最終的に「無効な証明構築」で終わった。すなわち、システムは証明ステップを構築する段階で失敗しており、これらのケースは LLM 審査器の段階にすら到達していない。これは、証明ステップ検証パイプラインのボトルネックが審査器の判断品質だけでなく、前段のステップ書き換えと型付き構築の信頼性にもあることを示唆する。実行失敗と判断エラーを混ぜて報告すると、問題の真の原因が覆い隠されてしまう。
論文はさらに、外部 LLM を用いて、レンダリングされた認証済みチェーンの受容度を監査した。その結果、外部 LLM による認証チェーンの受容率は61.0%から67.6%であったのに対し、同じ事例の解答キー一致率は87.6%だった。この差は、回答が正しいことと、証明プロセスが外部の評価者に認められることが必ずしも一致しないことを示している。レンダリングされた証明チェーンには、可読性と信頼性の面で依然として明確なギャップがある。ただし著者らは慎重に、こうした監査自体が人間の注釈や形式カーネル(Lean や Coq など)による真値の基準を欠いているため、あくまで参考信号であり、厳密な意味での証明正確性の尺度ではないと指摘している。
さらに警戒すべきは、オープンウェイトの監査器ペア間の機会補正一致度がほぼゼロであることだ。これは、2つの独立した LLM 監査器が証明の有効性を判断する際、ランダム水準を超える一致にほとんど達せないことを意味する。彼らが測っているのは、証明の真理に対する正確性よりも、互いの一致性にすぎない。信頼できる真値がない状況で、LLM が LLM を監査する手法は、もっともらしく見えても検証不能な信号を生み出しかねない。
これらの結果に基づき、著者らは3つの報告上の提案を行っている。第一に、実行失敗(無効な証明構築など)と審査器による拒否を分けて集計すること。第二に、混合指標ではなく、選択された回答の精度とカバレッジを個別に報告すること。第三に、人間の専門家レビューや形式カーネル検査など、独立に評価された証明有効性の尺度を導入することである。論文は構成ごとの完全な結果と評価の詳細を提供し、コードも公開されている。数学推論の検証パイプラインを構築している研究者やエンジニアにとって、この研究は実用的な警鐘を鳴らしている。証明ステップ検証は万能のただ飯ではなく、その価値はタスクの難易度、モデルの能力、そして失敗モードが正しく分解・測定されているかどうかにかかっているのである。