マルチ教師対比蒸留によるエッジ効率的な病理学基礎モデル
研究者らはMuCoDiを提案。これは、複数の病理学基礎モデル（PFM）の凍結タイル埋め込みを対比蒸留により軽量エッジ向けエンコーダに圧縮する事前学習フレームワークである。RepViTベースのMuCoEdge学生モデルは教師に近い性能を維持しつつモデルサイズを数桁削減し、Raspberry Pi 5上で最大605倍の高速化を達成した。
計算病理学基礎モデル（PFM）は全スライド画像解析を大幅に進歩させたが、そのサイズと推論コストが病理部門でのローカル展開を妨げている。この問題に対処するため、研究者らはMuCoDi（マルチ教師対比蒸留）事前学習フレームワークを提案した。MuCoDiは複数のPFM（Virchow2、UNI2、H-Optimus-1）からの凍結タイル埋め込みを対比蒸留によりコンパクトなエッジ向けエンコーダに蒸留する。従来の個別教師特徴の回帰とは異なり、MuCoDiはMoCo v3から適応された対比蒸留目的関数を用い、キャッシュされた教師埋め込みを運動量エンコーダのキーとして置き換え、軽量なMobileOneおよびRepViT学生ネットワークを訓練する。
実験では、わずか11,800枚の全スライド画像から得られた1,430万個のTCGAタイルで学生モデルを事前学習し、23の臨床的にキュレーションされた下流分類タスクで凍結エンコーダを評価した。RepViTベースのMuCoEdge学生モデルはモデルサイズを大幅に削減しながら教師に近い性能を維持した。MuCoEdge-R2.3とR1.5は外部AUROC 71.0%を達成し、最良教師Virchow2（71.8%）との差はわずか0.8ポイントであった。また、MuCoEdge-R2.3は最高の外部F1スコア（51.8%）と2番目に良いAUPRC（53.3%）を記録した。最小モデルMuCoEdge-R1.0はわずか640万パラメータと1.12 GFLOPsで70.9%のAUROCを達成し、極端な圧縮下でも強力な性能を示した。
エッジデバイスへの展開可能性を検証するため、Raspberry Pi 5上でテストを実施。100万パラメータ未満のMobileOne学生モデルは66.5%～66.9%の外部AUROCを維持しながら、Virchow2と比較して最大605倍の単一タイル高速化を達成した。この成果は、PFM品質の病理学的表現が実用的なエッジ展開に移行可能であることを示し、計算病理学のリソース制約環境での応用に新たな道を開く。コードは匿名リポジトリで公開されている。