这篇提交于2026年5月20日的论文《自验证蒸馏：你的语言模型暗自就是自己的合成数据管道》（arXiv:2605.26132v1，cs.CL，作者为Tony Lee等两人）探讨了一个颇具吸引力的问题：经过后训练的大型语言模型（LLM），能否在没有任何外部教师模型、也没有工具反馈的情况下，仅凭无标签的提示词实现自我提升？为了回答这一问题，研究者在数学、科学和编程三个推理领域展开实验，起点只有无标签的种子问题，且这些问题完全没有标准答案可供参照。
针对这一设定，作者提出了名为“自验证蒸馏”（Self-Verified Distillation）的后训练精炼算法。其核心流程相当简洁：模型先针对种子问题生成大量候选解答，再借助基于提示词的自我验证机制对这些候选进行筛选，最后用筛选出的自整理数据集对模型本身进行训练。也就是说，模型既充当数据生成者，又充当数据审核者，从而把自身变成一个无需外部标注的合成数据流水线。
在筛选机制的设计上，该工作受到了UQ基准的启发。UQ基准曾使用多个验证器来筛查针对高难度未解问题的候选答案；作者将这种基于验证的过滤思路迁移到自训练场景，构建了一个三阶段的级联检查流程，依次为循环一致性检查、事实性检查和正确性检查。一个解答只有在每个阶段都获得评审者一致（unanimous）的通过票时，才会被接受进入训练数据。这种严格的准入标准旨在尽可能剔除模型自生成内容中的错误和幻觉。
研究还揭示了一条重要的规模规律：在构建训练数据时，采样更多的候选生成结果、并投入更大的验证预算，能够产出质量更高的自整理数据，进而得到推理能力更强的模型。换言之，数据构造阶段的计算投入会转化为模型质量的提升。
在实验方面，作者使用自验证蒸馏方法对多个规模的Qwen3模型进行了训练，并在三个领域均取得了性能增益。以Qwen3-4B为例，该方法使留出集上的聚合pass@1指标在数学领域（AIME26与HMMT）提升16.7个百分点，在科学领域（GPQA Diamond与HLE）提升11.1个百分点，在编程领域（LCBv5与LCBv6）提升8.3个百分点。此外，这些收益同样扩展到了0.6B和8B规模的模型上。
与仅在测试时增加计算量的基线方法UQ-TTC相比，自验证蒸馏在大多数设置下都取得了更好的表现，而测试阶段只需进行一次推理调用。这一点尤为关键：UQ-TTC通过在推理时消耗额外算力来提升性能，而自验证蒸馏把计算开销前移到训练数据构建阶段，从而在部署时保持较低的推理成本。该论文的完整文本、TeX源码及许可证信息可通过arXiv官方页面获取，DOI为10.48550/arXiv.2605.26132。