FedTR：結合遷移學習的聯邦學習框架用於工業視覺檢測
FedTR結合聯邦學習和遷移學習，解決工業視覺檢測中資料稀缺和任務複雜性問題，在標籤缺陷識別上取得高精度。
聯邦學習（Federated Learning, FL）是一種協作學習正規化，允許多個參與方在不共享本地資料的情況下協同訓練深度學習模型，從而有效保護資料隱私。然而，將聯邦學習應用於工業視覺檢測（Industrial Visual Inspection, IVI）時，面臨著資料可用性有限和檢測任務複雜等嚴峻挑戰，這些因素會顯著影響最終模型的效能。針對這一問題，最新研究提出了FedTR——一種新穎的聯邦學習框架，創新性地引入了遷移學習（Transfer Learning），專為自主工業視覺檢測設計，重點攻克了透過端到端文本識別來識別標籤缺陷這一極具挑戰性的任務。
遷移學習是一種利用預訓練模型的知識來適應不同資料集的方法。FedTR首先使用公開可用的資料集（如通用文本識別資料集）對模型進行預訓練，使模型獲得基礎的特徵提取能力。隨後，在分散式且數量有限的私有資料上執行必要的聯邦學習流程，同時對模型進行微調，以適應特定的工業場景。這種兩階段策略充分利用了公開資料的豐富性和私有資料的特異性，在保護資料隱私的前提下提升了模型效能。
大量的實驗結果表明，FedTR在私有墨盒資料集的標籤缺陷識別任務上表現出色。具體而言，FedTR在同質資料（資料分佈相似）上實現了95.5%的端到端文本識別詞級準確率，在異質資料（資料分佈差異較大）上達到了94.2%的詞級準確率。更令人矚目的是，FedTR的效能與集中式訓練（即所有資料集中到一處進行訓練）達到了同等水平，這證明了其在實際應用中的可行性和有效性。該論文的已接受版本已發表於2024年大湖區VLSI研討會（GLSVLSI '24）的會議論文集（第310-314頁），為工業視覺檢測領域提供了新的思路和解決方案。