フェデレーテッドラーニング（Federated Learning）は、プライバシーを保護しながら分散環境で機械学習モデルを訓練する手法として広く注目されています。しかし、この手法は通信帯域幅に関して二つの直交する制約に直面しています。一つはモデルサイズであり、パラメータ平均化手法（FedAvgなど）が頻繁にマージすることを制限します。これは、モデルパラメータ全体（数百万から数十億の重み）を送信するために多大な帯域幅を必要とするからです。もう一つはクラス数であり、プローブごとにソフトラベル（全クラスの確信度ベクトル）を送信するソフトラベル蒸留は、クラス数Cが大きくなると非現実的になります。
これらの課題を解決するために、研究者らはTallyTrainを提案しました。この手法では、各通信ラウンドにおいて、各クライアント（ピア）はモデルがプローブサンプルに対して出力したargmaxクラスインデックスのみ、すなわちハードラベルを送信します。これにより、プローブあたりの通信量はO(C)（C個の浮動小数点数）から⌈log2C⌉ビット（単一の整数インデックス）に削減されます。例えば、C=1000の分類タスクでは、通信量が数千ビットから約10ビットになり、圧縮率は数百倍に達します。
TallyTrainは単なる圧縮技術ではありません。実験により、非独立同分布（non-IID）データ分布下では、ハードラベルの多数決投票がソフトラベルの平均化よりも優れていることが示されました。その理由は、ローカルデータが少ないクライアントのモデルは訓練不足であり、そのソフトラベルの確信度は信頼できず、自信過剰な誤りを犯しやすいからです。これらの信頼できないソフトラベルを平均化するとノイズが増幅され、グローバルモデルの性能が低下します。一方、ハードラベルの多数決は、多数のクライアントの正しい予測が少数の誤りを圧倒するため、効果的にノイズを除去します。
複数の標準ベンチマークデータセット（CIFAR-10、CIFAR-100、ImageNet-1Kなど）での実験では、TallyTrainは分類精度において従来のソフトラベル蒸留と同等以上でありながら、通信量を最大3桁（1000倍）削減しました。この利点は帯域幅が限られた環境で特に顕著です。
さらに、モデルサイズによる帯域幅制約を緩和するために、研究チームはTallyTrainのハードラベルコンセンサスとスパースパラメータマージを組み合わせた「帯域幅ブリッジ（Bandwidth-Bridge）」変種を開発しました。この変種では、通信ラウンドごとに、一部の帯域幅をスパース化されたモデルパラメータ更新の送信に使用し、残りをハードラベルコンセンサスに使用します。これにより、モデル精度と通信オーバーヘッドの間で柔軟なトレードオフが可能になります。実験結果は、帯域幅ブリッジ変種がすべてのテスト動作点において、標準的なフェデレーテッドラーニング手法（FedAvg、FedProx、FedDF）をパレート支配する、すなわち同じ通信予算でより高い精度を達成するか、同じ精度でより少ない帯域幅を消費することを示しました。
この研究成果は、フェデレーテッド・ディスティレーションに効率的で実用的な通信スキームを提供し、特にクラス数が多く帯域幅が制限された分散シナリオ（モバイル端末上の音声アシスタント、自動運転車のセンサーフュージョンなど）に適しています。TallyTrainのシンプルさと有効性により、フェデレーテッドラーニングシステムにおける通信最適化の新しい標準となる可能性があります。