病理レポート生成は、全スライド画像（WSI）から構造化されたテキストレポートを作成するマルチモーダル学習問題であり、近年急速に発展しています。しかし、既存の研究では異種のデータセット、モデル設定、視覚エンコーダ、評価プロトコルが使用されているため、進捗を測定することが困難です。一般的に使用される自然言語生成指標（BLEU、ROUGE、METEORなど）は主に語彙の類似性を評価し、診断の見逃し、幻覚的な所見、腫瘍属性の不一致など、臨床的に重大なエラーを見逃すことがよくあります。これらの指標は臨床現場で誤解を招く可能性があり、報告品質を過大評価する傾向があります。
これらの課題に対処するため、研究者らは病理レポート生成のための標準化されたベンチマークと評価フレームワークであるPathReportEvalを提案しました。このベンチマークは、3つのデータセット（TCGA、HistAI、REG 2025）で4つの代表的な手法を評価し、3つの病理基盤エンコーダ（CONCHv1.5、UNI2-h、H-Optimus-1）を使用します。このフレームワークは、前処理、特徴抽出、トレーニング、デコード、評価を標準化し、モデル間の公平な比較を可能にするとともに、新しい手法、データセット、エンコーダを統合するためのモジュラープラットフォームを提供します。モジュール設計により、研究者は新しい視覚エンコーダや言語モデルを柔軟に追加できます。
中心的な貢献は、臨床的事実の正確性を評価するための臨床的に基づいた尺度である臨床レポート品質スコア（CRQS）です。CRQSは参照レポートと生成レポートを構造化された臨床属性にマッピングし、臨床事実カバレッジ、キー情報の再現率、幻覚率、臨床的不一致の4つの補完的な次元を測定し、全体的なスコアと解釈可能なサブスコアを生成します。カバレッジは含まれる臨床事実の割合を測定し、再現率は診断や腫瘍病期などの重要な所見が正しく言及されているかをチェックし、幻覚率は捏造された内容を定量化し、不一致は参照との矛盾を捉えます。これらの次元は総合的な品質評価を提供します。
実験により、従来の言語生成指標は臨床的正確性との相関が弱く、レポート品質を過大評価することが多いことが示されました。例えば、語彙の重複により高いBLEUスコアを得たレポートでも、重要な診断情報が欠落していたり幻覚が含まれている可能性があります。対照的に、CRQSは語彙指標では捉えられないモデルとエンコーダ間の臨床的に意味のある差異を明らかにします。PathReportEvalベンチマーク、公開のプラグアンドプレイフレームワーク、およびCRQSは、病理レポート生成の厳密な評価のための再現可能な基盤を確立します。この研究は、モデルが正確で幻覚のないレポートを生成するかどうかを評価する信頼性の高いツールを提供し、患者の安全性を向上させることから、臨床AIの展開に重要な意味を持ちます。