钢铁表面缺陷的自动视觉检测是质量控制中的关键环节。然而，标注缺陷数据稀缺且获取成本高昂，而无标签的表面图像却大量存在。这一矛盾促使研究人员探索无需类别标签即可学习有用表征的自监督方法。近日，一篇发表在arXiv上的论文提出了一种基于Transformer的掩码自编码器（Masked Autoencoder）方法，用于无监督学习钢表面缺陷的表征并进行聚类。
该方法的核心思想是：在预训练阶段，随机掩码75%的输入图像补丁，然后使用一个轻量级解码器从可见的25%补丁中重构被掩码的区域。同时，编码器联合训练一个辅助的缺陷定位目标，该目标仅作为训练信号，不作为检测器进行评估。这种设计使得模型能够学习到对缺陷敏感的特征表示。实验结果显示，解码器达到了0.92的结构相似性（SSIM）和0.47的均方误差（MSE），表明重构质量较高。
在表征学习完成后，研究人员从预训练的编码器中提取特征，使用UMAP进行降维，然后通过凝聚层次聚类（Agglomerative Clustering）对缺陷进行分类。在六种已知缺陷类别的评估中，该方法达到了91.3%的匈牙利匹配准确率。这一结果展示了自监督学习在工业视觉检测中的巨大潜力，为减少对人工标注的依赖提供了有效途径。未来，该方法有望扩展到更多工业场景，实现更高效的质量控制。