FedCC:一种用于胎儿超声图像中胼胝体稳健定位的低资源联邦基础模型适配方法
FedCC提出了一种基于联邦学习的框架,结合冻结的DINOv2骨干网络、轻量级YOLO检测头和低秩适配(LoRA)模块,实现胎儿超声图像中胼胝体的精准定位。在包含10,970帧多中心数据集的评估中,该方法在FedAvg策略下达到平均mAP@50为0.857、F1分数为0.803,同时将可训练参数从24.4M降至2.9M,通信成本减少约8.5倍。
胼胝体(CC)是大脑中重要的白质结构,在胎儿超声图像中准确识别其对早期发现神经发育异常至关重要。然而,由于超声成像固有的低对比度、散斑噪声以及胼胝体解剖结构的显著变异,这项任务极具挑战性。来自多所研究机构的研究人员在arXiv上发布了一项名为FedCC的新方法,旨在通过联邦学习框架解决这一问题,该框架特别设计用于真实的多中心和资源受限临床环境,无需共享患者数据。
FedCC的核心创新在于整合了三种关键技术:冻结的DINOv2视觉Transformer骨干网络、轻量级YOLO检测头以及低秩适配(LoRA)模块。DINOv2作为基础模型提供强大的特征提取能力,但其参数在训练过程中保持冻结,以降低计算负担;YOLO检测头负责目标定位;而LoRA模块仅允许少量可训练参数进行更新和客户端间交换。这种参数高效适配策略大幅减少了计算和通信开销,使框架适合低资源环境。研究团队在包含3个临床中心、58名孕妇的10,970帧超声图像数据集上评估了FedCC,这些图像由不同成像设备采集,覆盖了真实世界的异质性。
在联邦平均(FedAvg)策略下,DINOv2与LoRA的组合取得了平均mAP@50为0.857、F1分数为0.803的成绩,超越了全微调和编码器冻结基线。值得注意的是,该方法的可训练参数仅2.9M,相比全微调的24.4M减少了约88%,通信成本相应降低约8.5倍。这些结果标志着在开发可扩展、保护隐私且可临床部署的胎儿神经超声AI系统方面迈出了有希望的一步。FedCC不仅证明了基础模型在医学图像分析中的潜力,还展示了联邦学习在克服数据隐私和资源限制方面的价值。未来工作可能包括在更大规模数据集上的验证以及与其他胎儿结构的联合检测。