PathoSage:通過經驗感知的智能體工作流實現病理學多源證據裁定
PathoSage是一個三階段框架,用於病理學中的分塊級多模態推理。它通過結構化證據審議獨立評估來自不同工具的異質證據,進行衝突分析,並在全新上下文中生成最終判斷,以減少錨定偏差。同時引入無需訓練的Beta-Bernoulli經驗系統,利用連續信用分配建模工具的長期可靠性。實驗表明,PathoSage有效緩解了視覺問答中的幻覺問題和分類器之間的分歧,顯著優於現有最強病理學多模態大語言模型及智能體基線方法。
近年來,多模態大語言模型(MLLMs)和智能體工作流在計算病理學領域展現出巨大潛力,但可靠的補丁級推理仍是重大挑戰。端到端的病理學MLLM常常出現形態特徵幻覺,而現有的智能體系統通常將各類工具的輸出與檢索知識簡單地合併到共享上下文之中,導致決策極易受到衝突證據和上下文污染的干擾。針對這一瓶頸,來自學術界的研究團隊提出了PathoSage——一個創新的三階段框架,旨在為補丁級病理學多模態推理提供清晰、可靠且可解釋的證據處理流程。
PathoSage的核心架構將推理過程嚴格拆分為三個獨立階段:知識檢索、證據收集與證據裁定。在知識檢索階段,系統從外部知識庫中提取相關病理學先驗知識;證據收集階段則調用包括分類器、視覺問答(VQA)模型等多種專業化工具,獲取關於組織病理圖像塊的異質性證據。最關鍵的是第三階段——證據裁定,它通過名為“結構化證據審議”(Structured Evidence Deliberation)的組件獨立處理所有收集到的證據。該組件逐條審視來自不同工具的輸出,進行精細的衝突分析,並在一個全新的、不受先前上下文干擾的語境中生成最終判斷。這種設計有效避免了傳統方法中常見的錨定偏差,即模型過度依賴最初看到的證據或上下文。
除了結構化的裁決流程,PathoSage還引入了一種無需額外訓練的Beta-Bernoulli經驗系統。該系統通過連續信用分配機制來建模每類工具在長期使用中的可靠性:每當工具的輸出被驗證為正確或錯誤時,其對應的Beta分佈參數就會相應更新,從而形成基於歷史表現的信譽度評估。更重要的是,系統會為未來工具的使用構建相似性加權的先驗概率,即對於與歷史任務相似的新任務,具有良好過往記錄的工具會獲得更高的信任權重。這一機制使得整個框架能夠根據實際表現動態調整對工具輸出的依賴程度,而不需要繁重的再訓練過程。
在廣泛的實驗驗證中,PathoSage展示了顯著的優勢。研究者將其與多種當前最強的病理學專用MLLM以及智能體基線進行了對比,評估任務涵蓋VQA幻覺抑制和分類器分歧協調。結果表明,PathoSage在多個指標上均實現了最優性能:VQA幻覺率大幅下降,不同分類器之間對同一圖像塊的診斷不一致性也得到有效緩解。這些成果有力證明了明確的證據裁定機制與可靠性感知的工具建模是構建穩健病理學智能體的兩大關鍵要素。
PathoSage的提出為計算病理學領域帶來了全新的方法論視角。它不僅解決了現有方法在證據融合和決策可解釋性方面的短板,還為未來在實際臨牀環境中輔助病理學家進行更準確、更一致的診斷提供了堅實的技術基礎。隨着該框架的進一步優化和推廣,有望顯著提升人工智能輔助病理診斷的可靠性和臨牀接受度。