聯邦學習（Federated Learning）作為隱私保護分散式訓練的關鍵技術，在實現資料不出本地的協作模型訓練方面具有巨大潛力。然而，聯邦學習在實踐中面臨兩個正交的頻寬瓶頸：模型大小和類別數量。模型大小限制了引數平均方法（如FedAvg）的合併頻率，因為傳輸完整的模型引數（通常是數百萬甚至數十億個權重）需要大量頻寬，尤其是在頻繁通訊時。類別數量則使得基於探針的軟標籤蒸餾方法在高詞彙量場景下變得不切實際，因為每個探針需要傳輸包含所有類別置信度的軟標籤向量，當輸出類別數C很大時，通訊量迅速膨脹。
為了突破這些瓶頸，研究人員提出了TallyTrain方法。其核心思想是：在每個通訊輪次中，每個參與訓練的客戶端（peer）僅傳輸其模型對探針樣本輸出的argmax類別索引，即硬標籤。這樣，每個探針的通訊量從O(C)（需要傳輸C個浮點數）降低到⌈log2C⌉位元（只需傳輸一個整數索引）。例如，對於C=1000的分類任務，通訊量從數千位元降至10位元左右，壓縮比高達數百倍。
TallyTrain並非僅僅是一種壓縮技術。實驗表明，在非獨立同分布（non-IID）資料分佈下，硬標籤多數投票機制反而優於軟標籤平均。原因在於，本地資料量有限的客戶端往往模型訓練不足，其輸出的軟標籤置信度不可靠，甚至可能自信地給出錯誤預測。對這些不可靠的軟標籤求平均，會放大噪聲，導致全域性模型效能下降。而硬標籤多數投票則能有效過濾這種噪聲：多數客戶端的正確預測可以壓倒少數錯誤預測，從而提升聚合質量。
在多個標準基準資料集（如CIFAR-10、CIFAR-100和ImageNet-1K）上的實驗表明，TallyTrain在分類精度上匹配甚至超越了傳統的軟標籤蒸餾方法，同時通訊量降低多達三個數量級（即1000倍）。這一優勢在弱頻寬環境下尤為顯著。
為了進一步緩解模型大小帶來的頻寬瓶頸，研究人員將TallyTrain的硬標籤共識與稀疏引數合併相結合，提出了頻寬橋接（Bandwidth-Bridge）變體。該變體在通訊輪次中，一部分頻寬用於傳輸稀疏化的模型引數更新，另一部分用於傳輸硬標籤共識。透過調整兩者的頻寬分配比率，可以在模型精度和通訊開銷之間實現靈活的權衡。實驗結果顯示，頻寬橋接變體在所有測試的工作點上，Pareto優於標準聯邦學習方法FedAvg、FedProx和FedDF，即在相同通訊預算下達到更高精度，或在相同精度下消耗更少頻寬。
這項研究為聯邦蒸餾提供了高效、實用的通訊方案，尤其適用於類別數量大、頻寬受限的分散式場景（如移動裝置上的語音助手、自動駕駛中的感測器融合等）。TallyTrain的簡單性和有效性使其有望成為聯邦學習系統通訊最佳化的新標準。