医用画像診断において、放射線科医のアイトラッキングデータは、専門家が画像を読影する際にどのように検索し、比較し、証拠を蓄積するかの豊富な記録を提供する。しかし、既存の手法はこの信号を部分的にしか活用しておらず、静的な空間事前分布として、あるいは診断から切り離された補助的な予測ターゲットとして扱うにとどまっている。最近arXivに投稿された論文では、画像そのものを「世界」と見なし、放射線科医の注視系列をその世界内の「軌跡」として扱う医用画像世界モデル、GazeWorldが提案されている。
GazeWorldの中心的なアイデアは、既に訪問した画像パッチに基づいて、次に注視するパッチの潜在表現を自己回帰的に予測することにある。同時に、空間補完ブランチが未訪問領域をカバーする。この設計により、モデルは最終的な診断結論だけでなく、専門家が読影中に行う動的な推論プロセスを学習することを強制される。推論段階では、GazeWorldは実際の注視データを必要とせず、画像のみから一連のパッチ表現を生成でき、読影プロセスをシミュレートする。
研究チームは、CheXpert、RSNA Pneumonia、SIIM-ACR Pneumothoraxの3つの公開ベンチマークで広範な実験を行った。その結果、凍結されたGazeWorld特徴は、9つの教師あり設定すべてにおいて最先端の診断精度を達成し、3つのベンチマークすべてで最高のゼロショット精度を記録した。さらに、注視軌跡予測の評価に特化したGazeSearchベンチマークでは、同じ凍結特徴で訓練された汎用デコーダが、専用設計のLogitGaze-Medモデルを上回った。ScanMatch指標で16%以上、SED指標で22%以上の差である。特筆すべきは、このデコーダが明示的な注視予測訓練を受けていない点である。
この結果は、専門家が「何を結論づけるか」だけでなく「どのように読むか」をモデル化することが、医用画像AIの有望な事前学習パラダイムであることを示している。GazeWorldは診断性能を向上させるだけでなく、アイトラッキングデータから転移可能な表現を学習する可能性を実証しており、今後、より広範な医用画像タスクへの応用が期待される。