鋼表面の欠陥自動視覚検査は品質管理における重要なタスクである。しかし、ラベル付き欠陥データは希少で取得コストが高く、一方でラベルなし表面画像は豊富に存在する。このギャップを埋めるため、クラスラベルなしで有用な表現を学習する自己教師あり手法が注目を集めている。最近、arXivに発表された論文では、Transformerベースのマスクドオートエンコーダ（Masked Autoencoder）を用いて、鋼表面欠陥の表現を教師なしで学習し、クラスタリングする手法が提案された。
提案手法の核心は、事前学習段階で入力画像パッチの75%をランダムにマスクし、軽量なデコーダが可視の25%のパッチからマスク領域を再構築することである。このとき、エンコーダは補助的な欠陥位置特定目的を同時に学習するが、これは訓練信号としてのみ使用され、検出器として評価されるわけではない。実験の結果、デコーダは構造類似度（SSIM）0.92、平均二乗誤差（MSE）0.47を達成し、再構成品質が高いことが示された。
表現学習後、事前学習済みエンコーダから抽出した特徴をUMAPで次元削減し、凝集型クラスタリング（Agglomerative Clustering）で欠陥を分類した。既知の6種類の欠陥カテゴリに対して、ハンガリー一致精度91.3%を達成した。この成果は、自己教師あり学習が工業用視覚検査において、手動ラベリングへの依存を減らす有効な手段であることを示している。将来的には、さらに多くの産業用途への展開が期待される。