NeuroVFM：基於Vol-JEPA在未經整理的臨床MRI和CT掃描上訓練的新型神經影像基礎模型

前沿模型大多從公共網際網路資料中學習，但臨床神經影像由於MRI和CT掃描包含可識別的面部特徵，很少出現在網際網路上。因此，通用模型在腦成像任務中表現不佳。密歇根大學的研究團隊透過發表在《自然醫學》上的NeuroVFM填補了這一空白。

NeuroVFM是什麼？

NeuroVFM本質上是一個用於神經影像的通用視覺基礎模型。它基於UM-NeuroImages資料集中的566,915項研究、共計524萬臨床MRI和CT體積進行訓練，這些資料涵蓋密歇根大學醫學院二十多年的常規診療。研究團隊將其方法稱為“健康系統學習”，即模型從常規臨床操作中產生的未經整理的資料中學習，從而避免了配對放射學報告的瓶頸，也不需要窄分類器使用的疾病特定整理。值得注意的是，其基礎模型稱為Vol-JEPA，它將早期的I-JEPA和V-JEPA方法擴充套件到體積醫學影像，反映了JEPA式學習向醫學影像擴充套件的趨勢。

Vol-JEPA如何工作？

Vol-JEPA是一種自監督、純視覺的演算法。它不重建畫素，而是在學習的潛在空間中預測表示，因此無需標籤、報告文本或體素解碼器。首先，每個3D體積被分詞為不重疊的4×16×16體素塊。然後，體積被分割成小的可見上下文和較大的掩碼目標。學生編碼器處理上下文塊，同時預測器結合上下文潛在向量與目標位置編碼，預測掩碼區域的潛在向量。教師編碼器由學生編碼器的指數移動平均更新，生成真實目標潛在向量。訓練透過停止教師梯度傳播來最小化預測與教師潛在向量之間的平滑L1損失。重要的是，掩碼是前景聚焦的，使用預計算的頭掩碼，上下文比例為MRI 25%、CT 20%，並帶有20%的塊丟棄。這種設計鼓勵編碼器建模共享的神經解剖結構，而非背景捷徑。

效能表現

為了評估效能，研究團隊凍結每個編碼器，訓練相同的任務級注意力探測頭，主要終點是156項診斷任務（74項MRI和82項CT）的宏平均AUROC。NeuroVFM在CT上達到92.68 AUROC，在MRI上達到92.49 AUROC，在彙總終點上優於所有基線。例如，與使用相同訓練資料但採用報告/語言監督的HLIP相比，NeuroVFM高出0.98個AUROC點；與體素重建的NeuroMAE相比，高出1.55個AUROC點。訓練效率方面，完整的Vol-JEPA執行使用不到1000 GPU小時，訓練速度比3DINO基線快7倍以上，在相同記憶體下可適應16倍更大的批次。基礎編碼器有8580萬引數，小型變體有2170萬引數。

模型支援的任務

除了診斷，NeuroVFM支援多種下游任務，每個任務重用相同的凍結視覺標記：報告生成（與Qwen3-14B結合形成NeuroVFM-LLaVA系統）、分診（生成緊急程度：無異常、常規或緊急）、基於注意力的多例項學習池化進行接地預測，以及跨模態遷移（CT訓練的探測頭在MRI上AUROC下降不超過5個點）。在生成和分診方面，NeuroVFM-LLaVA優於GPT-5和Claude Sonnet 4.5等前沿基線。在為期一週的沉默前瞻性研究（n=1,155）中，NeuroVFM達到92.6%的平衡分診準確率，而GPT-5為71.2%。但敏感性為86.5%，仍有21/155的關鍵發現被遺漏，因此作者將其定位為決策支援，而非自主篩查。

執行NeuroVFM

使用釋出的堆疊非常直接：安裝包後呼叫pipeline輔助函式。例如，載入編碼器和診斷頭，對CT研究進行編碼和預測，然後生成初步發現並進行分診。該堆疊需要從原始碼構建FlashAttention-2 (v2.6.3)。程式碼採用MIT許可證，權重使用CC-BY-NC-SA-4.0許可證，某些權重需用機構郵箱申請訪問。

優勢與侷限

優勢包括：無需報告或標籤監督就能從未經整理的掃描中學習；CT和MRI共享同一潛在空間；報告生成成本比GPT-5低24倍以上，碳排放低23倍以上；效能在不同製造商、場強和人口學亞組中保持一致。侷限包括：86.5%的分診敏感性意味著仍有真實的漏診；權重為非商業用途，且模型未經FDA批准；模型對資料集、架構和目標偏差敏感；結果來自單一學術醫療系統。