ToE：一種分層且可解釋的聲明驗證框架，具有動態多源證據檢索與聚合功能
本文提出Tree of Evidence (ToE)，一種用於自動事實核查的分層證據推理框架。ToE將每個聲明建模為動態擴展的論證樹，集成強化學習驅動的多源檢索代理、證據評估代理和論證樹聚合算法，通過可解釋的證據鏈迭代分解、檢索和驗證聲明。理論分析確保了檢索策略收斂到信息論最優策略。實驗表明，ToE在多個數據集和骨幹LLM上比競爭基線提升4到24個百分點，尤其在對對抗性污染輸入上表現顯著。
隨着虛假新聞的快速傳播，信息生態系統正面臨日益嚴重的威脅。尤其是生成引擎優化（GEO）投毒的出現，使得人工智能生成的虛假內容可以被檢索系統系統地呈現，從而污染大語言模型（LLM）的推理過程。針對這一問題，來自多家機構的研究人員提出了一種名為“Tree of Evidence”（ToE）的分層證據推理框架，旨在實現自動化的可解釋事實核查。
ToE的核心創新在於將每個待驗證的聲明建模為一棵動態擴展的論證樹。該框架整合了三個關鍵組件：基於強化學習的多源檢索代理、證據評估代理以及論證樹聚合算法。多源檢索代理能夠從多個信息源中動態檢索相關證據，證據評估代理對檢索到的證據進行可信度評估，而論證樹聚合算法則通過迭代分解、檢索和驗證聲明，構建出一條完整的可解釋證據鏈。這一過程不僅提高了事實核查的準確性，還使得驗證過程透明化，用户能夠清晰地看到每一步的推理依據。
在理論層面，研究團隊對檢索過程進行了深入分析，推導出形式化的誤差界，保證了學習到的策略能夠收斂到信息論最優策略的鄰域內。這一成果為ToE的可靠性提供了堅實的數學基礎。
實驗部分，研究人員在多個數據集和不同骨幹LLM上對ToE進行了評估。結果表明，與競爭基線相比，ToE的性能提升幅度在4到24個百分點之間，尤其在對對抗性污染輸入進行驗證時，優勢更為明顯。這一發現表明，ToE在應對由GEO投毒等新型威脅引發的複雜虛假信息方面具有顯著潛力。
總的來説，ToE通過其分層結構和動態證據鏈，為自動事實核查提供了一種高效且可解釋的解決方案，有望在未來的信息生態系統中發揮重要作用。該工作已發表於arXiv，論文編號2606.27736。