一项发表于arXiv的基准研究系统比较了四大类视觉模型——卷积神经网络(CNN)、视觉Transformer(ViT)、混合CNN-Transformer骨干网络以及视觉语言模型(VLM)——在真实多疾病视网膜筛查场景下的表现。该研究由Durjoy Dey等人完成,并被ICMHI 2026会议接收,旨在为临床部署的自动筛查工具提供可复现的模型选型参考。
研究使用了视网膜眼底多疾病图像数据集(RFMiD),该数据集包含多种视网膜病变的标注。作者评估了12种具体架构在两个任务上的性能:一是二分类筛查(判断是否存在任何视网膜疾病),二是针对28种疾病类别的多标签分类。所有模型均采用标准化的训练、校准和评估流程,并报告了AUC、F1分数、精确率、召回率以及在特异性接近80%的临床相关工作点上的敏感度。
在RFMiD数据集上,所有架构在二分类筛查中均表现良好,AUC均超过84%,但基于注意力机制的模型表现最佳。其中,SwinTiny以及混合模型CoAtNet0和MaxViTTiny取得了最强的二分类筛查结果,并在多标签分类中提升了宏平均和微平均F1分数。值得注意的是,视觉语言模型(包括CLIP ViT-B/16和SigLIP-Base384)虽然与CNN基线模型竞争力相当,但并未超越最佳的Transformer和混合骨干网络。
为了评估模型在域偏移下的泛化能力,研究还在Messidor-2数据集上进行了外部验证,针对可转诊糖尿病视网膜病变进行测试。结果显示,AUC范围从66.8%到84.7%,混合模型和Transformer模型再次表现出强劲性能。这一外部验证揭示了模型在不同数据分布下的性能差异,也强调了标准化评估的重要性。
该研究提供了多疾病视网膜筛查中模型选择的系统性参考,并指出基于注意力的架构在临床筛查任务中具有潜在优势。然而,视觉语言模型虽然在其他领域表现出色,但在本任务中并未展现出超越专用视觉模型的性能。这些发现有助于指导未来自动筛查工具的设计与优化,尤其是在需要处理多种疾病和域偏移的真实临床环境中。