FedTR：結合遷移學習的聯邦學習框架用於工業視覺檢測
FedTR結合聯邦學習和遷移學習，解決工業視覺檢測中數據稀缺和任務複雜性問題，在標籤缺陷識別上取得高精度。
聯邦學習（Federated Learning, FL）是一種協作學習範式，允許多個參與方在不共享本地數據的情況下協同訓練深度學習模型，從而有效保護數據隱私。然而，將聯邦學習應用於工業視覺檢測（Industrial Visual Inspection, IVI）時，面臨着數據可用性有限和檢測任務複雜等嚴峻挑戰，這些因素會顯著影響最終模型的性能。針對這一問題，最新研究提出了FedTR——一種新穎的聯邦學習框架，創新性地引入了遷移學習（Transfer Learning），專為自主工業視覺檢測設計，重點攻克了通過端到端文本識別來識別標籤缺陷這一極具挑戰性的任務。
遷移學習是一種利用預訓練模型的知識來適應不同數據集的方法。FedTR首先使用公開可用的數據集（如通用文本識別數據集）對模型進行預訓練，使模型獲得基礎的特徵提取能力。隨後，在分佈式且數量有限的私有數據上執行必要的聯邦學習流程，同時對模型進行微調，以適應特定的工業場景。這種兩階段策略充分利用了公開數據的豐富性和私有數據的特異性，在保護數據隱私的前提下提升了模型性能。
大量的實驗結果表明，FedTR在私有墨盒數據集的標籤缺陷識別任務上表現出色。具體而言，FedTR在同質數據（數據分佈相似）上實現了95.5%的端到端文本識別詞級準確率，在異質數據（數據分佈差異較大）上達到了94.2%的詞級準確率。更令人矚目的是，FedTR的性能與集中式訓練（即所有數據集中到一處進行訓練）達到了同等水平，這證明了其在實際應用中的可行性和有效性。該論文的已接受版本已發表於2024年大湖區VLSI研討會（GLSVLSI '24）的會議論文集（第310-314頁），為工業視覺檢測領域提供了新的思路和解決方案。