聯邦強化學習（Federated Reinforcement Learning, FedRL）允許多個智能體在不共享原始數據的情況下協作訓練全局策略，這對於隱私敏感的應用場景（如自動駕駛、機器人協作等）至關重要。然而，當各智能體所處的環境存在異構性時，即它們的狀態轉移動態不同，FedRL會面臨嚴峻挑戰。具體而言，不同的動態特性導致各智能體的輸入分佈不一致，同時在參數聚合過程中產生更新不均衡的問題，從而影響全局策略的收斂速度和最終性能。針對這一難題，來自某研究團隊的最新論文提出了個性化觀測歸一化（Personalized Observation Normalization, PON）方法。
PON的核心思想非常直觀：讓每個智能體在自己的本地環境中，利用持續更新的運行均值和運行方差對原始狀態輸入進行歸一化處理。這種本地歸一化確保了每個智能體觀測到的特徵在聚合到全局模型時具有一致的尺度，同時避免了不同智能體之間的特徵相互掩蓋。研究團隊通過理論分析和實驗進一步表明，由於各智能體的本地輸入分佈高度多樣化，跨智能體共享歸一化參數是無效的，這反而可能損害性能，從而印證了個性化統計量的必要性。
為了驗證PON的有效性，研究團隊在異構MuJoCo仿真任務上進行了廣泛的實驗。這些任務模擬了不同動力學特性的機器人控制場景，例如機器人關節參數或摩擦係數存在差異。實驗結果顯示，與多種基線方法（包括無歸一化、共享歸一化等）相比，PON能夠顯著加速訓練過程，並在多個任務上取得更優的任務表現。該論文已被國際神經網絡聯合會議（International Joint Conference on Neural Networks, IJCNN）2025接收，並於2026年4月10日提交至arXiv預印本平台（編號2605.27385）。論文所屬學科為機器學習（cs.LG）和人工智能（cs.AI），這標誌着該工作在學術界獲得了初步認可。
這項研究對於聯邦強化學習在真實異構環境中的應用具有重要意義。隨着隱私保護意識增強和聯邦學習框架的普及，PON提供了一種簡單而有效的預處理手段，有望推動FedRL在機器人、自動駕駛、工業控制等領域的實際部署。未來，研究者還可以探索將PON與其他聯邦學習優化技術（如梯度壓縮、通信效率改進）相結合，以進一步提升性能和實用性。