一篇新論文探討了語言模型何時應該信任自己的輸出，提出同模型自驗證作為條件置信訊號的概念。該研究由Aditya Ajay Phalod完成，於2026年4月8日提交至arXiv，論文編號2605.02915。論文共30頁，包含13張圖表和8個表格，相關程式碼已在GitHub上開源。
研究團隊評估了同模型自驗證在選擇性預測中的有效性。這種方法要求模型稽核自己預測的答案，看似是一種合理的置信訊號，但一旦與強似然基線進行比較，其實用價值就變得清晰。作者將自驗證與兩種基線方法（LL-AVG和LL-SUM）在ARC-Challenge和TruthfulQA-MC基準測試上進行了對比，涵蓋多種模型系列（Phi-2、Qwen、DeepSeek-R1-Distill-8B等）、規模及提示變體。
實驗不僅測量了正確性排名，還透過AURC和操作點分析評估了棄權質量。結果呈現出強烈的任務和模型依賴性。在ARC-Challenge上，自驗證相比LL-AVG在Phi-2和Qwen模型上有顯著改進，其中Qwen-7B的提升最大。然而，在TruthfulQA-MC上，訊號可靠性較低：較小模型變得對提示敏感，DeepSeek-R1-Distill-8B相比LL-AVG效能下降，而LL-SUM通常仍是更強的實際基線。
因此，研究者不建議將自驗證作為通用不確定性估計器。在該設定下，它更應被理解為一種條件置信訊號，其價值取決於任務型別、模型系列、提示表述，以及最關鍵的是它需要擊敗的基線。這一發現對於實際部署具有重要啟示：開發者需要根據具體場景謹慎選擇置信訊號，而不能盲目依賴自驗證機制。