XCT-SAM: 针对工业XCT缺陷分割的SAM序列参数高效域自适应
针对增材制造XCT图像缺陷分割的挑战,提出XCT-SAM框架,通过序列参数高效域自适应,利用Conv-LoRA适配器逐步缩小域差距,在CycleGAN-XCT基准和真实NIST扫描上优于基线方法。
在增材制造(AM)中,X射线计算机断层扫描(XCT)图像的缺陷分割是一项极具挑战性的任务,主要源于严重的类别不平衡以及不同扫描条件之间巨大的分布偏移。尽管近年来像Segment Anything Model(SAM)这样的基础模型提供了强大的通用分割先验,但其在自然图像上的预训练很难直接迁移到AM XCT领域,因为该领域的缺陷表现为细微的非语义微结构异常。此外,由于巨大的领域差异和标记真实XCT数据的稀缺,将SAM适配到AM领域也受到进一步限制。
针对这些挑战,来自美国的研究团队提出了XCT-SAM框架,这是一种序列参数高效的自适应方法,专门用于AM XCT缺陷分割。与直接将SAM从自然图像适配到XCT数据不同,XCT-SAM采用两阶段自适应策略:首先在合金微结构数据集上微调Conv-LoRA适配器,然后将适配后的模型迁移到XCT图像,逐步弥合领域差距。通过使用秩r=2的Conv-LoRA适配器,该框架将卷积空间归纳偏置注入SAM的主干网络,同时仅训练约415万参数,冻结了超过99%的模型参数,从而实现了参数高效的自适应。
研究团队在分布外CycleGAN-XCT基准和真实的NIST XCT扫描上对XCT-SAM进行了全面评估。在两种设置下,XCT-SAM都始终优于零样本SAM和其他领域自适应SAM基线,取得了最佳的总体IoU和Dice分数。具体来说,在CycleGAN-XCT基准上,XCT-SAM的IoU和Dice分数均显著高于基线方法。在NIST真实扫描上,同样表现出色。这些结果充分证明了中间领域自适应与参数高效适配器在工业XCT缺陷分割中的有效性。
该论文已被IAPR工业检测机器视觉研讨会(MVI2)录用,并将于ICPR 2026上展示。研究团队已将源代码公开在GitHub上,为相关领域的研究和应用提供了有力的工具。这项研究不仅推动了工业XCT缺陷分割技术的发展,也为参数高效域自适应方法在更广泛的计算机视觉应用中的使用提供了新思路。