大規模言語モデル（LLM）は、事実確認タスクにおいて高い精度を達成できる一方で、強制的な二値判断（真/偽）には深刻な信頼性の問題が潜んでいます。システムは、それを支持する証拠が弱い、疎らである、または内部で矛盾している場合でも、自信満々の判定を下す可能性があります。この問題に対処するため、研究者らは証拠連鎖評価（Evidence Chain Evaluation, ECE）という新しいフレームワークを提案しました。ECEは、すべての主張に対して真偽を強制するのではなく、不確実な場合には「棄権」を許容する選択的事実確認アプローチです。
ECEシステムは、ツールを使用する検証エージェントとして動作します。ウェブ検索、学術検索、実行可能なチェックなどを通じて証拠を収集し、信頼度とソースレベルのメタデータを含む構造化された判定を返します。この設計は、証拠が不十分な場合にシステムが不確実性を認識し、ユーザーを誤解させる可能性のある回答を避けることを目的としています。
専用のベンチマークECE-Benchでの評価結果は以下の通りです：標準精度91.6％、カバレッジ93.7％、回答された主張に対する選択的正確率97.8％。全体的なキャリブレーション指標（期待キャリブレーション誤差、Brierスコア、AURCなど）では最強の検索ベースラインを上回らなかったものの、ECEは明確な選択的予測のトレードオフを示しました。システムは回答した主張に対して非常に高い精度を維持しつつ、95例中わずか6例を棄権しました。これらの棄権事例は、低信頼性の証拠設定（6例中5例がソースレベルL4）に集中しており、棄権が認識論的に弱い証拠を扱うための安全指向メカニズムとして機能することを裏付けています。
研究チームはコードを公開しており、結果の再現性を確保しています。この研究は、LLMベースの事実確認システムの信頼性と透明性を向上させる新たな道を開くものであり、特に証拠の品質が重要視される応用分野において意義深いといえます。