跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

模拟放射科医生阅片的世界模型:GazeWorld 推动医学影像表征学习

文章摘要

研究人员提出 GazeWorld,一种将放射科医生的阅片过程建模为世界模型的预训练范式。该方法通过自回归预测注视序列中的下一个图像块表征,并在推理时仅从图像生成注视轨迹。在 CheXpert、RSNA Pneumonia 和 SIIM-ACR Pneumothorax 上,冻结特征在全部九种监督设置下达到最优诊断准确率,并在 GazeSearch 基准上显著超越专用模型。

来源arXiv Computer Vision作者: Yiwei Li, Zihao Wu, Huaqin Zhao, Yifan Zhou, Chao Cao, Dajiang Zhu, Tianming Liu, Lin Zhao
模拟放射科医生阅片的世界模型:GazeWorld 推动医学影像表征学习
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

arXiv 于 2026 年 5 月 17 日发布了编号 2605.23992 的预印本论文《A World Model of Radiologist Reading for Medical Image Representation Learning》(面向医学影像表征学习的放射科医生阅片世界模型),由 Yiwei Li 与另外 7 位作者共同完成,论文属于计算机视觉与模式识别(cs.CV)方向,同时被标注为人工智能(cs.AI)相关。版本 v1 于 UTC 时间 2026 年 5 月 17 日 22:30:29 提交,全文文件约 8,920 KB,并提供 PDF、实验性 HTML 以及 TeX 源码等多种获取形式。

研究动机来自放射科医生的眼动追踪数据。这类数据记录了专家在阅片过程中如何搜索、比较并逐步累积证据,信息量十分丰富。然而作者指出,现有方法对这一信号只做了部分利用:要么把它当作静态的空间先验,要么把它当作与诊断任务分离的辅助预测目标,未能把阅片路径本身纳入表征学习。

为此,作者提出 GazeWorld,这是一种医学影像世界模型。其核心思路是把图像视为“世界”,把放射科医生的注视序列视为在这个世界中穿行的一条轨迹。模型以自回归方式,根据此前所有已访问过的图像块,预测下一个被注视图像块的潜在表征;与此同时,一个空间补全分支负责覆盖尚未被访问的区域,使模型对整幅图像形成完整理解。值得注意的是,在推理阶段,GazeWorld 仅凭图像本身就能生成一串图像块表征,无需真实的眼动数据,这使其具备实际部署的可行性。

在实验方面,作者使用冻结的 GazeWorld 特征进行评估。在 CheXpert、RSNA Pneumonia 和 SIIM-ACR Pneumothorax 三个基准上,该特征在全部九种监督设置下均取得当前最优的诊断准确率,并在三个基准上同时取得最高的零样本准确率。此外,在 GazeSearch 基准上,一个基于相同冻结特征训练的通用解码器,尽管并未被显式训练去预测注视点,其表现仍大幅超越专门为此设计的 LogitGaze-Med:ScanMatch 指标高出 16% 以上,SED 指标高出 22%。

论文由此得出结论:建模专家“如何阅读”,而不仅仅是“得出什么结论”,为医学影像人工智能提供了一种颇具前景的预训练范式。作者信息、引用方式(arXiv:2605.23992v1 [cs.CV],DOI 待 DataCite 注册)以及提交历史均可在 arXiv 页面查询。

展开要点与分析

文章情报

工程师进阶

要点

  • GazeWorld 将图像视为世界,将放射科医生的注视序列视为轨迹,通过自回归预测下一个注视块的表征来学习
  • 推理时无需真实眼动数据,仅从图像即可生成注视轨迹,并实现最先进的诊断准确率
  • 在 GazeSearch 基准上,基于冻结特征的通用解码器比专用 LogitGaze-Med 模型在 ScanMatch 和 SED 指标上分别高出 16% 和 22% 以上

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。