病理報告生成是將全切片影像（WSI）轉化為結構化文本報告的多模態學習問題，近年來發展迅速。然而，由於現有研究使用異構資料集、模型設定、視覺編碼器和評估協議，進展難以衡量。常用的自然語言生成指標，如BLEU、ROUGE和METEOR，主要獎勵詞彙相似性，常常無法檢測臨床重要錯誤，例如遺漏診斷、虛構發現或腫瘤屬性不一致。這些指標在臨床環境中可能產生誤導，因為它們高估了報告質量，而忽略了事實正確性。
為了應對這些挑戰，研究人員提出了PathReportEval——一個標準化基準和評估框架。該基準在三個公開資料集（TCGA、HistAI和REG 2025）上評估了四種有代表性的方法，並使用三種病理學基礎編碼器（CONCHv1.5、UNI2-h和H-Optimus-1）。該框架標準化了預處理、特徵提取、訓練、解碼和評估流程，使得不同模型之間能夠進行公平比較，同時提供了模組化平臺以便整合新方法、資料集和編碼器。這種模組化設計允許研究社群靈活新增新的視覺編碼器或語言模型，從而推動該領域的快速發展。
PathReportEval的核心貢獻是臨床報告質量評分（CRQS），這是一種基於臨床事實正確性的度量標準。CRQS將參考報告和生成報告對映到結構化的臨床屬性，並測量四個互補維度：臨床事實覆蓋率、關鍵資訊召回率、幻覺率和臨床不一致性，從而產生一個總體分數以及可解釋的子分數。臨床事實覆蓋率衡量報告包含的真實臨床事實的比例；關鍵資訊召回率評估重要發現（如診斷、腫瘤分期）是否被正確提及；幻覺率則檢測生成報告中虛構的內容；臨床不一致性則關注與參考報告的矛盾之處。這種多維度的評估方式能夠全面反映報告的質量。
實驗結果表明，傳統的語言生成指標與臨床正確性弱相關，且常常高估報告質量。例如，一個生成報告可能因為詞彙匹配度高而獲得高BLEU分數，但可能漏掉了關鍵的診斷資訊或包含了虛構的發現。相比之下，CRQS能夠揭示模型和編碼器之間具有臨床意義的差異，而詞彙指標無法捕捉這些差異。PathReportEval基準、公開的即插即用框架以及CRQS共同為病理報告生成的嚴格評估建立了可復現的基礎。該工作對臨床AI的應用具有重要意義，因為它提供了可靠的工具來評估模型是否能夠生成準確、無幻覺的病理報告，從而提升患者安全。