一篇新论文探讨了语言模型何时应该信任自己的输出，提出同模型自验证作为条件置信信号的概念。该研究由Aditya Ajay Phalod完成，于2026年4月8日提交至arXiv，论文编号2605.02915。论文共30页，包含13张图表和8个表格，相关代码已在GitHub上开源。
研究团队评估了同模型自验证在选择性预测中的有效性。这种方法要求模型审核自己预测的答案，看似是一种合理的置信信号，但一旦与强似然基线进行比较，其实用价值就变得清晰。作者将自验证与两种基线方法（LL-AVG和LL-SUM）在ARC-Challenge和TruthfulQA-MC基准测试上进行了对比，涵盖多种模型系列（Phi-2、Qwen、DeepSeek-R1-Distill-8B等）、规模及提示变体。
实验不仅测量了正确性排名，还通过AURC和操作点分析评估了弃权质量。结果呈现出强烈的任务和模型依赖性。在ARC-Challenge上，自验证相比LL-AVG在Phi-2和Qwen模型上有显著改进，其中Qwen-7B的提升最大。然而，在TruthfulQA-MC上，信号可靠性较低：较小模型变得对提示敏感，DeepSeek-R1-Distill-8B相比LL-AVG性能下降，而LL-SUM通常仍是更强的实际基线。
因此，研究者不建议将自验证作为通用不确定性估计器。在该设定下，它更应被理解为一种条件置信信号，其价值取决于任务类型、模型系列、提示表述，以及最关键的是它需要击败的基线。这一发现对于实际部署具有重要启示：开发者需要根据具体场景谨慎选择置信信号，而不能盲目依赖自验证机制。