非ペア型クロスモーダル医用画像分類のための共有セマンティックコードブック蒸留
医用画像のモダリティが非ペアである場合、クロスモーダル知識蒸留はしばしば機能しません。本研究では、共有離散コードブックを用いて画像を分布として表現し、教師と学生のモダリティをグローバルおよびクラス条件付きで整列させる手法「SSCD」を提案します。ペアデータや直接比較可能な特徴を必要とせず、2つの非ペアタスクで学生モデルのmacro-F1を70.2と76.3に改善し、既存の蒸留ベースラインを上回りました。
クロスモーダル知識蒸留は、高性能だが計算コストの高い教師モダリティから、より軽量で導入しやすい学生モダリティへ診断知識を転送することを目的としています。しかし医用画像解析では、2つのモダリティが非ペアであることがしばしば問題となります。非ペアとは、データが異なる患者集団から収集され、特徴空間が幾何学的に互換性を持たないことを意味します。このような状況では、インスタンスレベルの蒸留は無効になり、直接の特徴マッチングも信頼できません。本研究では、この課題に対処するための新しい手法として、共有セマンティックコードブック蒸留（SSCD）を提案しています。
SSCDの核心は、モダリティに依存しない共有離散コードブックを導入することです。具体的には、各画像はコードブック上の確率分布として表現され、生の特徴を直接比較する代わりに、この分布を用いて教師と学生の表現を整列させます。知識転送は、グローバルな分布整列とクラス条件付き整列の2つの方法で行われます。グローバル整列は全体の分布を近づけ、クラス条件付き整列は各クラスごとに分布をマッチングさせることで、クラスに関連する判別情報を保持します。このプロセスでは、ペアサンプルも、直接比較可能な生の特徴も必要ありません。
訓練中、コードブックは指数移動平均（EMA）によってオンラインで更新され、データの分布変化に適応します。また、コードワードの利用を促進するためにエントロピー正則化を適用し、長期間使用されないコードワードを再起動するデッドコード再起動メカニズムを採用することで、コードブックの多様性を維持しています。これにより、コードブックの退化を防ぎます。推論時には、教師側のすべてのモジュールとコードブックが破棄され、学生エンコーダと分類器だけが残ります。そのため、実際のデプロイ時に追加の計算コストは発生しません。
研究は、2つの異なる非ペア設定で評価を行いました。1つ目はOCTから眼底画像への網膜疾患分類、2つ目はCTから胸部X線への肺炎分類です。実験の結果、SSCDは学生モデルのmacro-F1をそれぞれ64.5から70.2（OCT→眼底）、73.8から76.3（CT→胸部X線）に改善し、評価したすべての蒸留ベースラインを上回りました。この結果は、非ペアの医用画像データに対するSSCDの有効性を示しています。
研究チームは、コードと学習済みモデルをGitHubで公開しています。論文は全16ページで、図2点と表4点を含み、2026年7月29日にarXiv（識別子: 2607.27357）に提出されました。分野はコンピュータビジョンとパターン認識（cs.CV）および画像・動画処理（eess.IV）です。本研究は、非ペアなクロスモーダル医用画像分類に対する実用的かつ効率的なソリューションを提供し、今後の臨床応用への発展が期待されます。