聯邦學習（Federated Learning）作為隱私保護分佈式訓練的關鍵技術，在實現數據不出本地的協作模型訓練方面具有巨大潛力。然而，聯邦學習在實踐中面臨兩個正交的帶寬瓶頸：模型大小和類別數量。模型大小限制了參數平均方法（如FedAvg）的合併頻率，因為傳輸完整的模型參數（通常是數百萬甚至數十億個權重）需要大量帶寬，尤其是在頻繁通信時。類別數量則使得基於探針的軟標籤蒸餾方法在高詞彙量場景下變得不切實際，因為每個探針需要傳輸包含所有類別置信度的軟標籤向量，當輸出類別數C很大時，通信量迅速膨脹。
為了突破這些瓶頸，研究人員提出了TallyTrain方法。其核心思想是：在每個通信輪次中，每個參與訓練的客户端（peer）僅傳輸其模型對探針樣本輸出的argmax類別索引，即硬標籤。這樣，每個探針的通信量從O(C)（需要傳輸C個浮點數）降低到⌈log2C⌉比特（只需傳輸一個整數索引）。例如，對於C=1000的分類任務，通信量從數千比特降至10比特左右，壓縮比高達數百倍。
TallyTrain並非僅僅是一種壓縮技術。實驗表明，在非獨立同分布（non-IID）數據分佈下，硬標籤多數投票機制反而優於軟標籤平均。原因在於，本地數據量有限的客户端往往模型訓練不足，其輸出的軟標籤置信度不可靠，甚至可能自信地給出錯誤預測。對這些不可靠的軟標籤求平均，會放大噪聲，導致全局模型性能下降。而硬標籤多數投票則能有效過濾這種噪聲：多數客户端的正確預測可以壓倒少數錯誤預測，從而提升聚合質量。
在多個標準基準數據集（如CIFAR-10、CIFAR-100和ImageNet-1K）上的實驗表明，TallyTrain在分類精度上匹配甚至超越了傳統的軟標籤蒸餾方法，同時通信量降低多達三個數量級（即1000倍）。這一優勢在弱帶寬環境下尤為顯著。
為了進一步緩解模型大小帶來的帶寬瓶頸，研究人員將TallyTrain的硬標籤共識與稀疏參數合併相結合，提出了帶寬橋接（Bandwidth-Bridge）變體。該變體在通信輪次中，一部分帶寬用於傳輸稀疏化的模型參數更新，另一部分用於傳輸硬標籤共識。通過調整兩者的帶寬分配比率，可以在模型精度和通信開銷之間實現靈活的權衡。實驗結果顯示，帶寬橋接變體在所有測試的工作點上，Pareto優於標準聯邦學習方法FedAvg、FedProx和FedDF，即在相同通信預算下達到更高精度，或在相同精度下消耗更少帶寬。
這項研究為聯邦蒸餾提供了高效、實用的通信方案，尤其適用於類別數量大、帶寬受限的分佈式場景（如移動設備上的語音助手、自動駕駛中的傳感器融合等）。TallyTrain的簡單性和有效性使其有望成為聯邦學習系統通信優化的新標準。