跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

结合对比学习的联合嵌入预测:面向结构MRI的表征学习新框架

文章摘要

自监督学习在医学影像领域潜力巨大,但标注数据稀缺。本文提出COJEPA框架,结合联合嵌入预测架构和对比损失,在无标注的T1加权脑部MRI上训练,实现了优异的局部预测性和全局判别性。在零样本双胞胎检索、脑肿瘤分割和年龄回归任务中表现突出,尤其在同卵双胞胎识别和年龄预测误差方面达到最先进水平。

来源arXiv Computer Vision作者: Fabian Mager, Lars Kai Hansen
结合对比学习的联合嵌入预测:面向结构MRI的表征学习新框架
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

自监督学习因能利用海量无标注数据,在医学影像领域备受关注,但如何设计有效的预训练任务仍具挑战。近日,研究人员提出COJEPA框架,旨在为三维脑部MRI学习兼具局部预测性与全局判别性的表征。该工作已被提交至arXiv,并于2026年7月12日发布。

COJEPA的核心创新在于融合两种互补的学习目标:联合嵌入预测架构(JEPA)和对比损失(CO)。JEPA通过预测输入图像中掩蔽区域的嵌入表示,迫使模型学习局部结构信息;而对比损失则通过拉近相似样本、推开不同样本的嵌入,增强全局判别能力。两者结合使得COJEPA同时具备精细的空间感知和鲁棒的语义区分性。

在技术实现上,COJEPA将I-JEPA扩展至三维,采用前景感知块掩蔽策略,优先遮挡脑组织区域,并引入分层卷积块嵌入和世界空间正弦位置编码,以高效处理高分辨率体积数据。模型在两个公开数据集HCP-YA和AABC上训练,共计2286例,年龄跨度22至90岁。这种设计使得模型能够从无标注的三维脑部MRI中学习到丰富的结构和语义信息。

研究者在三个下游任务上评估了COJEPA的性能:零样本双胞胎检索、脑肿瘤分割(BraTS 2024)和年龄回归(OpenBHB)。COJEPA在同卵双胞胎检索中以rank@1召回率0.84领先,这意味着在给定一个受试者的情况下,模型能够以84%的概率正确识别其同卵双胞胎。在年龄回归任务中,微调后的平均绝对误差仅2.55年,为最佳结果,表明模型能够准确预测个体的年龄。在BraTS全肿瘤分割Dice系数上,COJEPA与纯对比损失方法持平,达到了0.85以上的Dice得分。这些结果充分表明,联合目标能够产生既具判别性又保持局部结构的优质表征。

该工作为医学影像自监督学习提供了新思路,尤其在标注成本高昂的场景下,COJEPA有望推动脑部MRI分析的发展。未来研究可进一步探索其在其他模态如fMRI、DTI以及疾病诊断如阿尔茨海默病、精神分裂症等中的应用。此外,COJEPA的框架也可推广到其他三维医学影像如CT扫描。

展开要点与分析

文章情报

工程师进阶

要点

  • COJEPA将联合嵌入预测架构(JEPA)与对比损失(CO)相结合,同时提升局部预测性和全局判别性。
  • 该框架在2286例T1加权结构MRI数据上训练,扩展I-JEPA至3D,采用前景感知块掩蔽、分层卷积块嵌入和世界空间正弦位置编码。
  • 在双胞胎检索(rank@1同卵双胞胎召回率0.84)、年龄回归(MAE 2.55年)和脑肿瘤分割(与CO匹配的全肿瘤Dice)任务上均取得最优或相当性能。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。