連合学習(Federated Learning, FL)は、複数のクライアントが自身のローカルデータでモデルを協調訓練する分散型機械学習パラダイムです。しかし、実環境ではラベル偏り(Label Skew)という深刻な問題に直面します。各クライアントのラベル分布が大きく異なる場合、例えばあるクライアントには猫の画像しかなく、別のクライアントには犬の画像しかない場合、クライアントドリフト(Client Drift)が発生します。これは各クライアントのモデルが局所的な最適解に向かって過度に偏り、グローバルモデルの精度を著しく低下させる現象です。
このラベル偏りを緩和するため、合成データ拡張(Synthetic Data Augmentation)が一般的に用いられます。追加のサンプルを生成して各クラスのデータ数を均衡させることで、クライアントドリフトを低減できます。しかし、完全なクラスバランシング(Full Class Balancing)を実現するには膨大な計算コストが必要です。すべてのクライアントの全クラスに対して十分な合成サンプルを生成するには、クライアント数とクラス数に比例したコストがかかります。
この課題に対し、arXiv(ID: 2607.06616)で公開された新たな研究がFedEAS(Federated Entropy-Adaptive Synthesis)戦略を提案しています。FedEASは「予算認識型」の合成データ生成を中核とします。従来の均等予算割り当てとは異なり、各クライアントのローカルラベル分布に基づいてエントロピー適応型のクラス別生成予算(Entropy-Adaptive Per-Class Generation Budget)を計算します。この予算は、各クライアントが「どれだけ」の合成サンプルを生成するか(How Much)、および生成されたサンプルを「どのクライアント」に送るか(WHERE)を同時に決定します。
具体的には、FedEASはまず各クライアントのラベル分布のエントロピーを測定します。エントロピーが低い(偏りが大きい)クライアントには高い生成予算を割り当て、エントロピーが高い(比較的均衡している)クライアントには低い予算を割り当てます。その結果、総生成予算は各クライアントの予算の合計として動的に決まり、事前に固定されることはありません。これによりリソースを最も必要とする場所に集中させ、無駄を省きます。
実験はCIFAR-10およびCIFAR-100データセットで実施されました。FedEASは完全なクラスバランシングに必要な予算のわずか5.9%(94.1%削減)で、完全バランシングと同等の精度向上の大部分を達成しました。さらに、同じ総生成予算の条件下では、均一予算割り当て(Uniform Allocation)と比較して最大18.82%の精度向上を示しました。
本研究の意義は、計算資源が限られた連合学習環境(モバイルデバイス、IoTエッジなど)において、合成データ生成のコストを劇的に削減しつつ高精度を維持する実用的な解決策を提供した点にあります。FedEASのエントロピー適応型メカニズムは、データ拡張以外にもプライバシー保護や勾配圧縮など他の分野への応用が期待されます。著者ら(Sangwoo Leeほか2名)は本論文をプレプリントとして公開し、今後の議論を呼びかけています。