在複雜受限環境的精密製造領域，軟體機器人因其柔順性和適應性而日益受到重視。然而，在多機器人協作過程中，纏繞問題成為制約其應用的關鍵瓶頸。傳統基於分佈式訓練的多智能體強化學習框架在高密度障礙物和不穩定環境中面臨可觀測性不足的挑戰，導致機器人難以協調以避免糾纏。針對這一難題，來自中國的研究團隊提出了一種拓撲驅動的多智能體強化學習（Topology-Driven Multi-Agent Reinforcement Learning, TD-MARL）框架，旨在通過引入拓撲信息來增強機器人之間的協調性。
該框架的核心創新包括三方面。首先，批評網絡採用集中式學習，每個智能體通過共享拓撲狀態來感知其他智能體的策略，從而緩解因複雜交互導致的訓練不穩定性。與完全分佈式方法不同，這種集中式訓練允許智能體在訓練階段獲取全局視角，而執行時則完全分佈式，消除了實時通信的需求。其次，框架集成了一個拓撲安全層，利用拓撲不變量（如纏繞數和連通性）來準確評估機器人之間的纏繞風險，並在策略決策時主動規避高風險狀態，避免陷入局部最優。最後，通過分佈式執行，機器人之間無需交換消息，降低了通信開銷並提高了系統的魯棒性。
研究團隊在逼真的仿真環境中進行了全面實驗，對比了多種基線方法，包括深度Q網絡（DQN）、近端策略優化（PPO）及其多智能體變體。結果表明，TD-MARL在收斂速度上顯著快於現有方法，在防纏繞成功率上提升了約30%，特別是在密集障礙物場景中表現突出。該方法不僅提高了任務完成效率，還減少了機器人之間的相互干擾。
該研究為軟體機器人在受限環境中的協同作業提供了新思路，有望推動精密製造、醫療手術和災難救援等領域的發展。論文由Haoyang Le、Shengxuan Wang、Mohan Chen和Shuo Feng共同撰寫，於2026年5月1日提交至arXiv，全文共17頁，包含4幅圖表。