FedTR：结合迁移学习的联邦学习框架用于工业视觉检测
FedTR结合联邦学习和迁移学习，解决工业视觉检测中数据稀缺和任务复杂性问题，在标签缺陷识别上取得高精度。
联邦学习（Federated Learning, FL）是一种协作学习范式，允许多个参与方在不共享本地数据的情况下协同训练深度学习模型，从而有效保护数据隐私。然而，将联邦学习应用于工业视觉检测（Industrial Visual Inspection, IVI）时，面临着数据可用性有限和检测任务复杂等严峻挑战，这些因素会显著影响最终模型的性能。针对这一问题，最新研究提出了FedTR——一种新颖的联邦学习框架，创新性地引入了迁移学习（Transfer Learning），专为自主工业视觉检测设计，重点攻克了通过端到端文本识别来识别标签缺陷这一极具挑战性的任务。
迁移学习是一种利用预训练模型的知识来适应不同数据集的方法。FedTR首先使用公开可用的数据集（如通用文本识别数据集）对模型进行预训练，使模型获得基础的特征提取能力。随后，在分布式且数量有限的私有数据上执行必要的联邦学习流程，同时对模型进行微调，以适应特定的工业场景。这种两阶段策略充分利用了公开数据的丰富性和私有数据的特异性，在保护数据隐私的前提下提升了模型性能。
大量的实验结果表明，FedTR在私有墨盒数据集的标签缺陷识别任务上表现出色。具体而言，FedTR在同质数据（数据分布相似）上实现了95.5%的端到端文本识别词级准确率，在异质数据（数据分布差异较大）上达到了94.2%的词级准确率。更令人瞩目的是，FedTR的性能与集中式训练（即所有数据集中到一处进行训练）达到了同等水平，这证明了其在实际应用中的可行性和有效性。该论文的已接受版本已发表于2024年大湖区VLSI研讨会（GLSVLSI '24）的会议论文集（第310-314页），为工业视觉检测领域提供了新的思路和解决方案。