多教師對比蒸餾技術：實現邊緣高效病理學基礎模型
研究人員提出MuCoDi框架，透過對比蒸餾將多個病理學基礎模型（PFM）的凍結圖塊嵌入壓縮到輕量級邊緣編碼器中。基於RepViT的MuCoEdge學生模型在保持接近教師效能的同時，將模型大小減少數個數量級，在Raspberry Pi 5上實現高達605倍的單切片加速。
計算病理學基礎模型（PFM）在全切片影像分析領域取得了顯著進展，但它們的巨大體積和昂貴的推理成本嚴重阻礙了在病理科室的本地部署。為了解決這一難題，研究人員提出了MuCoDi（多教師對比蒸餾）預訓練框架，其核心思想是將多個PFM（如Virchow2、UNI2和H-Optimus-1）的凍結圖塊嵌入，透過對比蒸餾的方式壓縮到緊湊的邊緣導向編碼器中。與傳統的迴歸單個教師特徵的方法不同，MuCoDi採用了一種源自MoCo v3的對比蒸餾目標，利用快取的教師嵌入替代動量編碼器鍵，從而高效地訓練輕量級的MobileOne和RepViT學生網路。
在實驗部分，研究人員從僅11,800張全切片影像中提取了1430萬個TCGA圖塊用於學生網路的預訓練，並在23個經過臨床整理的下游分類任務上評估了凍結編碼器的效能。結果顯示，基於RepViT的MuCoEdge學生模型在顯著減少模型引數量的同時，保持了接近教師模型的效能。具體而言，MuCoEdge-R2.3和MuCoEdge-R1.5在外部資料集上的AUROC達到了71.0%，僅比最佳教師模型Virchow2的71.8%低0.8個百分點。此外，MuCoEdge-R2.3還取得了最佳的外部F1分數（51.8%）和次佳的AUPRC（53.3%）。更令人印象深刻的是，最小的MuCoEdge-R1.0模型僅擁有640萬引數和1.12 GFLOPs的計算量，卻實現了70.9%的AUROC，展示了極端壓縮下的強大效能。
為了驗證模型在邊緣裝置上的可行性，研究者在Raspberry Pi 5上進行了部署測試。引數不足百萬的MobileOne學生模型在保持66.5%至66.9%外部AUROC的同時，實現了相對於Virchow2高達605倍的單切片加速。這一突破性成果證明，PFM級別的病理學表示可以被高效地遷移到實際邊緣部署中，為計算病理學在資源受限環境下的應用開闢了全新道路。相關程式碼已在匿名倉庫中公開，供學術界和工業界進一步探索。