連合強化学習（Federated Reinforcement Learning, FedRL）は、複数のエージェントが生データを共有せずに協調してグローバルポリシーを訓練することを可能にし、プライバシー重視のアプリケーション（自動運転、ロボット協調など）に理想的です。しかし、エージェントごとに状態遷移ダイナミクスが異なる異種環境では、入力分布の不一致やパラメータ更新の不均衡が生じ、FedRLの性能が低下します。本研究では、この問題に対処するために、パーソナライズド観測正規化（Personalized Observation Normalization, PON）手法を提案しています。
PONの核心的なアイデアは、各エージェントが自身のローカル環境で、継続的に更新される実行平均と実行分散を用いて生の状態入力を正規化することです。このローカル正規化により、各エージェントの観測特徴がグローバルモデルに集約される際に一貫したスケールが保証され、エージェント間の特徴の埋没を防ぎます。研究チームは理論分析と実験を通じて、エージェント間で正規化パラメータを共有することは、ローカル入力分布の多様性のために非効率であり、むしろ性能を損なう可能性があることを示し、パーソナライズド統計量の必要性を実証しました。
PONの有効性を検証するため、研究チームは異種MuJoCoタスク（ロボットの関節パラメータや摩擦係数が異なるシナリオ）で広範な実験を行いました。結果は、正規化なしや共有正規化などのベースライン手法と比較して、PONが訓練を大幅に加速し、複数のタスクで優れた性能を達成することを示しました。本論文は、国際ニューラルネットワーク合同会議（International Joint Conference on Neural Networks, IJCNN）2025に採択され、2026年4月10日にarXiv（識別子2605.27385）に投稿されました。対象分野は機械学習（cs.LG）および人工知能（cs.AI）です。
この研究は、実世界の異種環境における連合強化学習の応用に重要な意味を持ちます。プライバシー保護の意識が高まり、連合学習フレームワークが普及する中、PONはシンプルで効果的な前処理手段を提供し、ロボット工学、自動運転、産業制御などの分野でのFedRLの実践的な展開を促進する可能性があります。将来的には、PONを勾配圧縮や通信効率改善などの他の連合学習最適化技術と組み合わせることで、さらなる性能向上と実用性の拡大が期待されます。