在分佈式多智能體強化學習(MARL)中,自主移動機器人(AMR)通過湧現通信實現有效協調。然而,現有方法常面臨通信協議不穩定、消息語義無根基以及通信學習與策略優化相互干擾等問題,導致協調性能隨時間下降。為此,研究人員提出了SCALE-COMM(共享對比對齊潛在嵌入通信框架),這是一種自監督方法,旨在學習緊湊、穩定且與策略相關的通信表示。
SCALE-COMM的核心創新在於將通信學習與策略優化過程分離。它訓練低維潛在消息,這些消息捕捉任務相關的規劃與交通信息,並通過對比學習強制跨智能體和時間步的一致性。這種設計使得通信表示更加穩定,減少了對策略更新的干擾。
實驗在多個標準MARL基準測試以及一個逼真的倉庫協調任務中進行。結果顯示,SCALE-COMM在表示質量和任務性能上均持續優於現有的通信框架。具體而言,學習到的通信空間在策略微調過程中表現出更好的穩定性、樣本效率和吞吐量。這證明了以表示驅動的通信方法對於可擴展的多智能體協調的有效性。
該研究已發表於IEEE IV 2026,相關代碼和數據可通過arXiv獲取。SCALE-COMM為未來在更復雜場景中的多機器人協調提供了新的思路。該框架通過自監督學習避免了人工標註的需求,使得通信協議可以自動適應任務需求。對比學習機制確保了不同智能體在不同時間步發送的消息在語義上保持一致,從而提升了整體的協調穩定性。在倉庫任務中,機器人需要避免碰撞並高效完成貨物運輸,SCALE-COMM顯著減少了衝突並提高了任務完成率。實驗還表明,該框架對策略微調具有魯棒性,當策略更新時,通信表示不會發生劇烈變化,從而避免了重新學習通信協議的開銷。總體而言,SCALE-COMM為多智能體系統中的通信學習提供了一種高效、穩定的解決方案。