がん診断において、病理学者が全スライド画像（WSI）から情報を抽出する際の視覚的注意の配分は極めて選択的なプロセスであり、診断精度だけでなく自動レポート生成にも重要な手がかりを与えます。今回、Ruoyu Xue氏ら15名の研究者による研究で、病理学者の視覚的注意をレポート生成モデルのトレーニングに初めて導入する手法が提案され、MICCAI 2026に採択されました。
研究チームは、121件の前立腺WSIからなるマルチモーダルな人間の注意データセットを構築しました。5名の病理学者が診断を行う際、マルチスケールの視野軌跡、口頭説明、カーソル移動を同期して記録し、Gleasonパターンなど5つの臨床関連成分をカバーしました。この緻密なアノテーションにより、モデルが人間の診断上の注目点を学習するための豊富な基盤が提供されました。
このデータセットを用いて、研究者らは2つの既存のレポート生成モデルを、注意アライメント損失を用いて微調整しました。この損失関数は、画像パッチに対するモデルの注意分布を病理学者の注意分布に近づけるように正則化します。実験では、異なる内部注意メカニズム（画像トークンの言語デコーダへの統合方法）を持つ2つのモデルを使用し、手法の汎用性を検証しました。
評価の結果、前立腺がんのレポート生成と視覚的質問応答タスクにおいて顕著な改善が見られました。NLPベースの指標（BLEU、ROUGEなど）は平均10.9%向上し、5つの臨床関連レポート成分の精度は19.3%向上しました。さらに、推論時に抽出されたモデルの注意マップ（計算オーバーヘッドは最小限）は、病理学者の実際の注意とより密接に一致しました。これにより、生成されたレポートにおいて出力に最も影響を与える領域が明確に強調され、臨床判断のための説明可能性と視覚的サポートが強化されました。
この研究は、人間の専門家の注意を深層学習モデルに組み込むことの有効性を示すとともに、AI支援病理診断の新たな道を開くものです。今後、この手法は他のがん種やより広範な医用画像解析タスクに応用され、自動レポートの品質と信頼性をさらに向上させることが期待されます。