NeuroVFM：未キュレーションの臨床MRIおよびCTボリュームでVol-JEPAを用いて訓練された新しいニューロイメージング基盤モデル
ミシガン大学の研究チームが開発したNeuroVFMは、524万の臨床MRIおよびCTボリュームで訓練された汎用ニューロイメージング基盤モデルです。Vol-JEPA手法は自己教師あり学習をボリューメトリック医用画像に拡張し、放射線レポートラベルなしで脳解剖学と病理を学習します。156の診断タスクでCT 92.68、MRI 92.49のAUROCを達成し、レポート生成、トリアージ、クロスモーダル転送をサポートします。
最先端モデルのほとんどは公開インターネットデータから学習しますが、臨床神経画像はMRIやCTスキャンに識別可能な顔の特徴が含まれるため、インターネット上にほとんど存在しません。そのため、汎用モデルは脳画像タスクで性能が低下します。ミシガン大学の研究チームは、Nature Medicineに掲載されたNeuroVFMでこのギャップを埋めました。
NeuroVFMとは？
NeuroVFMは本質的に、神経画像のための汎用視覚基盤モデルです。UM-NeuroImagesデータセットの56万6915件の研究、合計524万の臨床MRIおよびCTボリュームで訓練され、ミシガン医学部での20年以上の日常診療をカバーしています。研究チームはこのアプローチを「ヘルスシステム学習」と呼び、モデルは通常の臨床運用中に生成された未キュレーションデータから学習するため、ペアの放射線レポートや狭い分類器で使用される疾患固有のキュレーションを回避します。注目すべきは、ベースモデルVol-JEPAが初期のI-JEPAおよびV-JEPA手法をボリューメトリック医用画像に拡張した点で、JEPAスタイルの学習が医用画像に拡大している傾向を反映しています。
Vol-JEPAの仕組み
Vol-JEPAは自己教師ありのビジョン専用アルゴリズムです。ピクセルを再構成するのではなく、学習された潜在空間で表現を予測するため、ラベル、レポートテキスト、ボクセルデコーダーは不要です。まず、各3Dボリュームは重複しない4×16×16ボクセルのパッチにトークン化されます。次に、ボリュームは小さな可視コンテキストと大きなマスクターゲットに分割されます。学生エンコーダーがコンテキストパッチを処理し、予測器がコンテキスト潜在ベクトルとターゲット位置エンコーディングを組み合わせてマスク領域の潜在ベクトルを予測します。教師エンコーダーは学生の指数移動平均によって更新され、グラウンドトゥルースのターゲット潜在ベクトルを生成します。訓練は、教師を介した勾配伝播を停止し、予測と教師潜在ベクトル間の平滑L1損失を最小化します。重要なのは、マスキングが前景に焦点を当てており、事前計算されたヘッドマスクを使用し、コンテキスト比率はMRIで25%、CTで20%、20%のパッチドロップアウトを伴うことです。この設計により、エンコーダーはバックグラウンドショートカットではなく共有神経解剖学をモデル化するよう促されます。
性能
評価のために、研究チームは各エンコーダーを凍結し、同一のタスクレベル注意プローブを訓練しました。主要エンドポイントは156の診断タスク（74のMRIと82のCT）におけるマクロ平均AUROCです。NeuroVFMはCTで92.68、MRIで92.49のAUROCを達成し、統合エンドポイントですべてのベースラインを上回りました。例えば、同じ訓練データを使用するがレポート/言語監視を用いるHLIPよりも0.98 AUROCポイント高く、ボクセル再構成のNeuroMAEよりも1.55 AUROCポイント高くなりました。訓練効率に関しては、完全なVol-JEPA実行は1000 GPU時間未満で、3DINOベースラインより7倍以上速く訓練され、同一メモリで16倍大きなバッチに対応しました。ベースエンコーダーは8580万パラメータ、小型バリアントは2170万パラメータです。
モデルが可能にするタスク
診断に加えて、NeuroVFMはいくつかの下流タスクをサポートし、それぞれが同じ凍結視覚トークンを再利用します：レポート生成（Qwen3-14Bと組み合わせたNeuroVFM-LLaVAシステム）、トリアージ（緊急度：異常なし、定期、緊急）、注意ベースのMILプーラーによる接地予測、クロスモーダル転送（CT訓練プローブがMRIでAUROC 5ポイント未満の低下）。生成とトリアージにおいて、NeuroVFM-LLaVAはGPT-5やClaude Sonnet 4.5などの最先端ベースラインを上回りました。1週間のサイレント前向き研究（n=1,155）では、NeuroVFMは92.6%のバランストリアージ精度を達成し、GPT-5の71.2%を上回りました。ただし、感度は86.5%で、155の重要所見のうち21を見逃したため、著者らはこれを自律スクリーニングではなく意思決定支援と位置づけています。
NeuroVFMの実行
公開されたスタックの使用は簡単です：パッケージをインストールし、パイプライン補助関数を呼び出します。例えば、エンコーダーと診断ヘッドをロードし、CT研究をエンコードして予測し、さらに所見を生成してトリアージします。このスタックはFlashAttention-2 (v2.6.3)をソースからビルドする必要があります。コードはMITライセンスで提供され、重みはCC-BY-NC-SA-4.0ライセンスであり、一部の重みは機関メールでのアクセス承認が必要です。
強みと限界
強み：未キュレーションのスキャンからレポートやラベルの監視なしで学習可能；CTとMRIで同一の潜在空間を共有；レポート生成コストがGPT-5比で24倍以上低く、炭素排出も23倍以上低い；メーカー、磁場強度、人口統計サブグループ間で一貫した性能。限界：86.5%のトリアージ感度により実際の重要所見見逃しが存在；重みは非商用でFDA未承認；データセット、アーキテクチャ、目的バイアスの影響を受けやすい；単一のアカデミックヘルスシステムからの結果。