NeuroVFM：基于Vol-JEPA在未经整理的临床MRI和CT扫描上训练的新型神经影像基础模型

前沿模型大多从公共互联网数据中学习，但临床神经影像由于MRI和CT扫描包含可识别的面部特征，很少出现在互联网上。因此，通用模型在脑成像任务中表现不佳。密歇根大学的研究团队通过发表在《自然医学》上的NeuroVFM填补了这一空白。

NeuroVFM是什么？

NeuroVFM本质上是一个用于神经影像的通用视觉基础模型。它基于UM-NeuroImages数据集中的566,915项研究、共计524万临床MRI和CT体积进行训练，这些数据涵盖密歇根大学医学院二十多年的常规诊疗。研究团队将其方法称为“健康系统学习”，即模型从常规临床操作中产生的未经整理的数据中学习，从而避免了配对放射学报告的瓶颈，也不需要窄分类器使用的疾病特定整理。值得注意的是，其基础模型称为Vol-JEPA，它将早期的I-JEPA和V-JEPA方法扩展到体积医学图像，反映了JEPA式学习向医学影像扩展的趋势。

Vol-JEPA如何工作？

Vol-JEPA是一种自监督、纯视觉的算法。它不重建像素，而是在学习的潜在空间中预测表示，因此无需标签、报告文本或体素解码器。首先，每个3D体积被分词为不重叠的4×16×16体素块。然后，体积被分割成小的可见上下文和较大的掩码目标。学生编码器处理上下文块，同时预测器结合上下文潜在向量与目标位置编码，预测掩码区域的潜在向量。教师编码器由学生编码器的指数移动平均更新，生成真实目标潜在向量。训练通过停止教师梯度传播来最小化预测与教师潜在向量之间的平滑L1损失。重要的是，掩码是前景聚焦的，使用预计算的头掩码，上下文比例为MRI 25%、CT 20%，并带有20%的块丢弃。这种设计鼓励编码器建模共享的神经解剖结构，而非背景捷径。

性能表现

为了评估性能，研究团队冻结每个编码器，训练相同的任务级注意力探测头，主要终点是156项诊断任务（74项MRI和82项CT）的宏平均AUROC。NeuroVFM在CT上达到92.68 AUROC，在MRI上达到92.49 AUROC，在汇总终点上优于所有基线。例如，与使用相同训练数据但采用报告/语言监督的HLIP相比，NeuroVFM高出0.98个AUROC点；与体素重建的NeuroMAE相比，高出1.55个AUROC点。训练效率方面，完整的Vol-JEPA运行使用不到1000 GPU小时，训练速度比3DINO基线快7倍以上，在相同内存下可适应16倍更大的批次。基础编码器有8580万参数，小型变体有2170万参数。

模型支持的任务

除了诊断，NeuroVFM支持多种下游任务，每个任务重用相同的冻结视觉标记：报告生成（与Qwen3-14B结合形成NeuroVFM-LLaVA系统）、分诊（生成紧急程度：无异常、常规或紧急）、基于注意力的多实例学习池化进行接地预测，以及跨模态迁移（CT训练的探测头在MRI上AUROC下降不超过5个点）。在生成和分诊方面，NeuroVFM-LLaVA优于GPT-5和Claude Sonnet 4.5等前沿基线。在为期一周的沉默前瞻性研究（n=1,155）中，NeuroVFM达到92.6%的平衡分诊准确率，而GPT-5为71.2%。但敏感性为86.5%，仍有21/155的关键发现被遗漏，因此作者将其定位为决策支持，而非自主筛查。

运行NeuroVFM

使用发布的堆栈非常直接：安装包后调用pipeline辅助函数。例如，加载编码器和诊断头，对CT研究进行编码和预测，然后生成初步发现并进行分诊。该堆栈需要从源码构建FlashAttention-2 (v2.6.3)。代码采用MIT许可证，权重使用CC-BY-NC-SA-4.0许可证，某些权重需用机构邮箱申请访问。

优势与局限

优势包括：无需报告或标签监督就能从未经整理的扫描中学习；CT和MRI共享同一潜在空间；报告生成成本比GPT-5低24倍以上，碳排放低23倍以上；性能在不同制造商、场强和人口学亚组中保持一致。局限包括：86.5%的分诊敏感性意味着仍有真实的漏诊；权重为非商业用途，且模型未经FDA批准；模型对数据集、架构和目标偏差敏感；结果来自单一学术医疗系统。