近日，一篇提交至arXiv的論文提出了名為“自驗證蒸餾”（Self-Verified Distillation, SVD）的新算法，旨在讓大語言模型（LLMs）僅利用無標籤的提示便實現自我改進，無需任何外部教師模型或工具反饋。該研究聚焦於數學、科學和編程三個推理領域，從無標籤的種子問題出發，不依賴真實答案。
SVD的核心思想是讓模型自己生成候選答案，然後通過一個三階段級聯驗證流程進行篩選：循環一致性檢查、事實性檢查和正確性檢查。只有通過所有階段且獲得一致判斷的答案才會被接受，用於後續的訓練數據集。這一想法受到UQ基準測試中使用多個驗證器篩選難解問題候選答案的啓發。研究團隊發現，在訓練數據構建過程中，採樣更多的候選生成以及使用更大的驗證預算，能夠產生更高質量的自篩選數據，進而獲得更好的推理模型。
研究團隊在多個規模的Qwen3模型上應用了SVD方法，並取得了顯著成果。以Qwen3-4B為例，該方法在數學基準（AIME26和HMMT）上使pass@1提升了16.7個百分點，在科學基準（GPQA Diamond和HLE）上提升了11.1個百分點，在編程基準（LCBv5和LCBv6）上提升了8.3個百分點。此外，0.6B和8B模型同樣獲得了性能增益。與需要額外推理計算資源的測試時計算基線（UQ-TTC）相比，SVD在大多數設置下取得了更優的性能，且測試時僅需單次推理調用。這一結果表明，大語言模型可以秘密地成為自身的高質量合成數據管道，實現自我增強。