自监督学习因能利用海量无标注数据,在医学影像领域备受关注,但如何设计有效的预训练任务仍具挑战。近日,研究人员提出COJEPA框架,旨在为三维脑部MRI学习兼具局部预测性与全局判别性的表征。该工作已被提交至arXiv,并于2026年7月12日发布。
COJEPA的核心创新在于融合两种互补的学习目标:联合嵌入预测架构(JEPA)和对比损失(CO)。JEPA通过预测输入图像中掩蔽区域的嵌入表示,迫使模型学习局部结构信息;而对比损失则通过拉近相似样本、推开不同样本的嵌入,增强全局判别能力。两者结合使得COJEPA同时具备精细的空间感知和鲁棒的语义区分性。
在技术实现上,COJEPA将I-JEPA扩展至三维,采用前景感知块掩蔽策略,优先遮挡脑组织区域,并引入分层卷积块嵌入和世界空间正弦位置编码,以高效处理高分辨率体积数据。模型在两个公开数据集HCP-YA和AABC上训练,共计2286例,年龄跨度22至90岁。这种设计使得模型能够从无标注的三维脑部MRI中学习到丰富的结构和语义信息。
研究者在三个下游任务上评估了COJEPA的性能:零样本双胞胎检索、脑肿瘤分割(BraTS 2024)和年龄回归(OpenBHB)。COJEPA在同卵双胞胎检索中以rank@1召回率0.84领先,这意味着在给定一个受试者的情况下,模型能够以84%的概率正确识别其同卵双胞胎。在年龄回归任务中,微调后的平均绝对误差仅2.55年,为最佳结果,表明模型能够准确预测个体的年龄。在BraTS全肿瘤分割Dice系数上,COJEPA与纯对比损失方法持平,达到了0.85以上的Dice得分。这些结果充分表明,联合目标能够产生既具判别性又保持局部结构的优质表征。
该工作为医学影像自监督学习提供了新思路,尤其在标注成本高昂的场景下,COJEPA有望推动脑部MRI分析的发展。未来研究可进一步探索其在其他模态如fMRI、DTI以及疾病诊断如阿尔茨海默病、精神分裂症等中的应用。此外,COJEPA的框架也可推广到其他三维医学影像如CT扫描。