ToE：一種分層且可解釋的宣告驗證框架，具有動態多源證據檢索與聚合功能
本文提出Tree of Evidence (ToE)，一種用於自動事實核查的分層證據推理框架。ToE將每個宣告建模為動態擴充套件的論證樹，整合強化學習驅動的多源檢索代理、證據評估代理和論證樹聚合演算法，透過可解釋的證據鏈迭代分解、檢索和驗證宣告。理論分析確保了檢索策略收斂到資訊理論最優策略。實驗表明，ToE在多個資料集和骨幹LLM上比競爭基線提升4到24個百分點，尤其在對對抗性汙染輸入上表現顯著。
隨著虛假新聞的快速傳播，資訊生態系統正面臨日益嚴重的威脅。尤其是生成引擎最佳化（GEO）投毒的出現，使得人工智慧生成的虛假內容可以被檢索系統系統地呈現，從而汙染大語言模型（LLM）的推理過程。針對這一問題，來自多家機構的研究人員提出了一種名為“Tree of Evidence”（ToE）的分層證據推理框架，旨在實現自動化的可解釋事實核查。
ToE的核心創新在於將每個待驗證的宣告建模為一棵動態擴充套件的論證樹。該框架整合了三個關鍵元件：基於強化學習的多源檢索代理、證據評估代理以及論證樹聚合演算法。多源檢索代理能夠從多個資訊源中動態檢索相關證據，證據評估代理對檢索到的證據進行可信度評估，而論證樹聚合演算法則透過迭代分解、檢索和驗證宣告，構建出一條完整的可解釋證據鏈。這一過程不僅提高了事實核查的準確性，還使得驗證過程透明化，使用者能夠清晰地看到每一步的推理依據。
在理論層面，研究團隊對檢索過程進行了深入分析，推匯出形式化的誤差界，保證了學習到的策略能夠收斂到資訊理論最優策略的鄰域內。這一成果為ToE的可靠性提供了堅實的數學基礎。
實驗部分，研究人員在多個資料集和不同骨幹LLM上對ToE進行了評估。結果表明，與競爭基線相比，ToE的效能提升幅度在4到24個百分點之間，尤其在對對抗性汙染輸入進行驗證時，優勢更為明顯。這一發現表明，ToE在應對由GEO投毒等新型威脅引發的複雜虛假資訊方面具有顯著潛力。
總的來說，ToE透過其分層結構和動態證據鏈，為自動事實核查提供了一種高效且可解釋的解決方案，有望在未來的資訊生態系統中發揮重要作用。該工作已發表於arXiv，論文編號2606.27736。