多教师对比蒸馏技术：实现边缘高效病理学基础模型
研究人员提出MuCoDi框架，通过对比蒸馏将多个病理学基础模型（PFM）的冻结图块嵌入压缩到轻量级边缘编码器中。基于RepViT的MuCoEdge学生模型在保持接近教师性能的同时，将模型大小减少数个数量级，在Raspberry Pi 5上实现高达605倍的单切片加速。
计算病理学基础模型（PFM）在全切片图像分析领域取得了显著进展，但它们的巨大体积和昂贵的推理成本严重阻碍了在病理科室的本地部署。为了解决这一难题，研究人员提出了MuCoDi（多教师对比蒸馏）预训练框架，其核心思想是将多个PFM（如Virchow2、UNI2和H-Optimus-1）的冻结图块嵌入，通过对比蒸馏的方式压缩到紧凑的边缘导向编码器中。与传统的回归单个教师特征的方法不同，MuCoDi采用了一种源自MoCo v3的对比蒸馏目标，利用缓存的教师嵌入替代动量编码器键，从而高效地训练轻量级的MobileOne和RepViT学生网络。
在实验部分，研究人员从仅11,800张全切片图像中提取了1430万个TCGA图块用于学生网络的预训练，并在23个经过临床整理的下游分类任务上评估了冻结编码器的性能。结果显示，基于RepViT的MuCoEdge学生模型在显著减少模型参数量的同时，保持了接近教师模型的性能。具体而言，MuCoEdge-R2.3和MuCoEdge-R1.5在外部数据集上的AUROC达到了71.0%，仅比最佳教师模型Virchow2的71.8%低0.8个百分点。此外，MuCoEdge-R2.3还取得了最佳的外部F1分数（51.8%）和次佳的AUPRC（53.3%）。更令人印象深刻的是，最小的MuCoEdge-R1.0模型仅拥有640万参数和1.12 GFLOPs的计算量，却实现了70.9%的AUROC，展示了极端压缩下的强大性能。
为了验证模型在边缘设备上的可行性，研究者在Raspberry Pi 5上进行了部署测试。参数不足百万的MobileOne学生模型在保持66.5%至66.9%外部AUROC的同时，实现了相对于Virchow2高达605倍的单切片加速。这一突破性成果证明，PFM级别的病理学表示可以被高效地迁移到实际边缘部署中，为计算病理学在资源受限环境下的应用开辟了全新道路。相关代码已在匿名仓库中公开，供学术界和工业界进一步探索。