病理報告生成是將全切片圖像（WSI）轉化為結構化文本報告的多模態學習問題，近年來發展迅速。然而，由於現有研究使用異構數據集、模型設置、視覺編碼器和評估協議，進展難以衡量。常用的自然語言生成指標，如BLEU、ROUGE和METEOR，主要獎勵詞彙相似性，常常無法檢測臨牀重要錯誤，例如遺漏診斷、虛構發現或腫瘤屬性不一致。這些指標在臨牀環境中可能產生誤導，因為它們高估了報告質量，而忽略了事實正確性。
為了應對這些挑戰，研究人員提出了PathReportEval——一個標準化基準和評估框架。該基準在三個公開數據集（TCGA、HistAI和REG 2025）上評估了四種有代表性的方法，並使用三種病理學基礎編碼器（CONCHv1.5、UNI2-h和H-Optimus-1）。該框架標準化了預處理、特徵提取、訓練、解碼和評估流程，使得不同模型之間能夠進行公平比較，同時提供了模塊化平台以便集成新方法、數據集和編碼器。這種模塊化設計允許研究社區靈活添加新的視覺編碼器或語言模型，從而推動該領域的快速發展。
PathReportEval的核心貢獻是臨牀報告質量評分（CRQS），這是一種基於臨牀事實正確性的度量標準。CRQS將參考報告和生成報告映射到結構化的臨牀屬性，並測量四個互補維度：臨牀事實覆蓋率、關鍵信息召回率、幻覺率和臨牀不一致性，從而產生一個總體分數以及可解釋的子分數。臨牀事實覆蓋率衡量報告包含的真實臨牀事實的比例；關鍵信息召回率評估重要發現（如診斷、腫瘤分期）是否被正確提及；幻覺率則檢測生成報告中虛構的內容；臨牀不一致性則關注與參考報告的矛盾之處。這種多維度的評估方式能夠全面反映報告的質量。
實驗結果表明，傳統的語言生成指標與臨牀正確性弱相關，且常常高估報告質量。例如，一個生成報告可能因為詞彙匹配度高而獲得高BLEU分數，但可能漏掉了關鍵的診斷信息或包含了虛構的發現。相比之下，CRQS能夠揭示模型和編碼器之間具有臨牀意義的差異，而詞彙指標無法捕捉這些差異。PathReportEval基準、公開的即插即用框架以及CRQS共同為病理報告生成的嚴格評估建立了可復現的基礎。該工作對臨牀AI的應用具有重要意義，因為它提供了可靠的工具來評估模型是否能夠生成準確、無幻覺的病理報告，從而提升患者安全。