新しい論文が、言語モデルがいつ自身の出力を信頼すべきかを探求し、条件付き信頼信号としての同一モデル自己検証の概念を提案しています。この研究はAditya Ajay Phalodによって行われ、2026年4月8日にarXivに提出されました（論文ID: 2605.02915）。論文は30ページ、13の図表、8つのテーブルで構成され、コードはGitHubで公開されています。
研究チームは、選択的予測における同一モデル自己検証の有効性を評価しました。この手法では、モデルに自身の予測回答を監査させるよう促します。一見すると妥当な信頼信号に見えますが、強い尤度ベースのベースラインと比較すると、その実用的価値は不明瞭になります。著者らは、ARC-ChallengeとTruthfulQA-MCのベンチマークで、自己検証を2つのベースライン（LL-AVGとLL-SUM）と比較し、複数のモデルファミリー（Phi-2、Qwen、DeepSeek-R1-Distill-8Bなど）、規模、プロンプトバリエーションを網羅しました。
実験では、正解率だけでなく、AURCと操作点分析による棄権品質も測定しました。結果はタスクとモデルに強く依存します。ARC-Challengeでは、自己検証はPhi-2とQwenモデルでLL-AVGを大幅に改善し、Qwen-7Bで最大の向上が見られました。しかし、TruthfulQA-MCでは信号の信頼性が低く、小型モデルはプロンプトに敏感になり、DeepSeek-R1-Distill-8BはLL-AVGに対して性能が低下し、LL-SUMがより強力な実用的ベースラインであることが多いです。
したがって、研究者は自己検証を汎用的な不確実性推定器として扱わないことを推奨しています。この設定では、自己検証は、タスクの種類、モデルファミリー、プロンプトの形式、そして何より打ち負かすべきベースラインに依存する条件付き信頼信号として理解されるべきです。この発見は、実際の展開において重要な示唆を与えます。開発者は特定のシナリオに応じて信頼信号を慎重に選択する必要があり、自己検証機構を盲目的に依存すべきではありません。