放射線レポートの自動生成は医療AIの重要な応用分野であり、その品質評価は研究の鍵となります。2026年6月13日、Yiming Shi氏ら12名の研究者は、arXivに「ReportQA: QA-Based Radiology Report Evaluation」という論文を発表しました。この研究では、質問応答（QA）に基づく新しい放射線レポート評価フレームワークReportQAを提案しています。従来の自然言語生成（NLG）指標（BLEU、ROUGEなど）は臨床的関連性が低く、臨床的有効性（CE）指標は重要な医学的所見を評価するものの、主に異常の有無に焦点を当て、カバーするエンティティが限られています。さらに、CE指標は手動アノテーションに大きく依存するため、新しい臨床エンティティや属性への拡張が困難です。
臨床現場では、放射線レポートは情報伝達の媒体として機能し、医師は画像を直接確認せずにレポートのみで診断を行います。この洞察に基づき、ReportQAフレームワークが開発されました。まず、複数の画像モダリティ（X線、CT、MRIなど）と解剖領域（胸部、腹部、骨格など）をカバーするデータセットを収集します。次に、放射線科医の指導の下で臨床エンティティと属性の知識ツリーを構築し、大規模言語モデル（LLM）を使用して生レポートから構造化情報を抽出します。その後、事前定義されたテンプレートからQAペアを生成し、自己フィルタリングとレポートベースのフィルタリングによる品質管理を実施します。評価時には、レポートをコンテキストとしてLLMがQAペアに回答し、その正解率からQAScoreを計算します。
実験では、QAScoreが既存の指標よりも放射線科医の判断とよく一致することが示されました。複数の最先端視覚言語モデル（CheXagent、RadBERTなど）を用いた評価では、現在のレポートベースの推論パラダイムは細粒度の臨床表現の学習に苦戦し、強い負の事前バイアス（陰性所見を過剰に予測する傾向）を示すことが明らかになりました。一方、質問駆動型の推論（ReportQAのアプローチ）はより効果的です。
再現性と拡張性のために、知識ツリー、構造化レポート、QAペア、およびQA構築・評価のパイプラインコードが公開されています。論文のarXiv IDは2606.15037で、専門分野は計算言語学とコンピュータビジョン・パターン認識です。この研究は、放射線レポート評価の新しい方向性を示し、自動レポート生成システムの最適化に貢献することが期待されます。