マンモグラフィ画像を対象に、CLIPスタイルの視覚言語モデル（VLM）の事前学習を導入する試みが広がりを見せている。しかし、標準的なCLIPアーキテクチャと学習目的をそのまま適用したモデルでは、がん検出、所見タイプ分類、BI-RADSカテゴリ予測といった臨床的に重要なタスクにおけるゼロショット性能が限定的である。著者らは、この芳しくない性能の原因として、マンモグラフィデータの二つの特性が考慮されていないことを挙げる。一つは画像が超高解像度である点、もう一つは検査における陰性・良性所見の割合が非常に高く、放射線科レポートが同質的になりがちな点である。特に、GPUメモリの制約に合わせて画像を縮小すると、重要な病変の詳細が失われるという問題がある。
提案手法のTopKSigLIPは、これらの課題に対処するために新しいアーキテクチャと学習目的を導入する。従来のように高解像度画像を縮小する代わりに、TopK-Patchモジュールが病変を含む可能性が高い疎な高解像度パッチの集合を学習的にサンプリングする。この仕組みにより、VLM学習における解像度とバッチサイズのトレードオフを回避しつつ、ネイティブな高解像度情報を維持できる。さらに、サンプリングされたパッチ位置は、モデルに組み込みの局在化ツールとしても機能する。外部の物体検出アノテーションを必要とせず、エンドツーエンドの学習だけで注目すべき領域を選べる点が特徴だ。
もう一つの工夫は、レポートの同質性に対応するための損失関数にある。標準的なCLIPの対照損失は、意味的に類似したサンプル同士を誤って反発させることがある。実際、陰性または良性所見が大半を占めるスクリーニングデータでは、多くのレポートが互いに似通っており、対照学習の前提と適合しない。TopKSigLIPでは、この損失をSup-sigmoid損失に置き換える。Sup-sigmoid損失は、SigLIPのシグモイド損失を拡張し、BI-RADS分類や密度評価などの構造化データから得られるソフトラベルを活用する。これにより、類似した陰性所見のペアを無理に相反するクラスへ分離するのではなく、臨床的意味での近さをモデルに伝えることができる。
実験では、密度評価、BI-RADS分類、所見サブタイピング、がん予測といった複数のタスクについて、内部および外部のベンチマークで評価が行われた。ゼロショット設定では、既存の公開マンモグラフィ用VLMや汎用医用VLMを上回る性能を示し、ベースラインよりもはるかに小さい視覚エンコーダと少ないバッチサイズでありながら、線形プロービングでも競争力を維持した。病変局在に関しても、TopK-PatchモジュールはポストホックなGrad-CAMより優れている。著者らはコードと重みを公開している。本論文はYoung Seok Jeon氏ら8名により執筆され、2026年9月2日にarXiv:2609.03085として投稿された。分類はComputer Vision and Pattern Recognition (cs.CV) に属する。