本研究は、事後学習済みの大規模言語モデルが、外部の教師モデルやツールからのフィードバックに頼ることなく、ラベルのないプロンプトのみを用いて自己をさらに改善できるかという問いを探求する。数学、科学、コーディングという三個の推論領域を対象に、正解のないラベルなし種問題のみから出発する設定を検討した。
著者らは自己検証蒸留と呼ぶ簡潔な事後学習精錬アルゴリズムを提案する。この手法では、モデルが種問題に対して多数の候補解を生成し、プロンプトベースの自己検証でそれらをフィルタリングし、得られた自己キュレーションデータセットで訓練を行う。このアイデアは、難解な未解決問題への候補回答を複数の検証器でスクリーニングするUQベンチマークの利用法に触発されている。著者らはこの検証ベースのフィルタリング手法を自己訓練に適応させ、モデル自身が生成した解を循環整合性、事実性、正確性の三段階カスケードでチェックし、全段階で判定者の一致した投票を得た解のみを採用する。
研究の重要な発見は、訓練データ構築時に候補生成のサンプル数を増やし検証予算を拡大することが、より高品質な自己キュレーションデータを生み出し、ひいてはより優れた推論モデルにつながるということである。著者らは複数規模のQwen3モデルに自己検証蒸留を適用し、三個の領域すべてで向上を達成した。具体的には、Qwen3-4Bにおいて、数学（AIME26とHMMT）の集約ホールドアウトpass@1で+16.7ポイント、科学（GPQA DiamondとHLE）で+11.1ポイント、コーディング（LCBv5とLCBv6）で+8.3ポイントの改善が見られ、その効果は0.6Bおよび8Bモデルにも及ぶ。
推論時に追加計算を行うテスト時のみのベースライン（UQ-TTC）と比較して、自己検証蒸留はほとんどの設定でより優れた性能を発揮し、しかもテスト時には単一の推論呼び出ししか必要としない。これは、追加の計算コストを訓練データ構築段階に移すことで、推論時には効率を保ちながら、外部監督に依存しないモデル自己改善の道筋を提供するものである。