在複雜受限環境的精密製造領域，軟體機器人因其柔順性和適應性而日益受到重視。然而，在多機器人協作過程中，纏繞問題成為制約其應用的關鍵瓶頸。傳統基於分散式訓練的多智慧體強化學習框架在高密度障礙物和不穩定環境中面臨可觀測性不足的挑戰，導致機器人難以協調以避免糾纏。針對這一難題，來自中國的研究團隊提出了一種拓撲驅動的多智慧體強化學習（Topology-Driven Multi-Agent Reinforcement Learning, TD-MARL）框架，旨在透過引入拓撲資訊來增強機器人之間的協調性。
該框架的核心創新包括三方面。首先，批評網路採用集中式學習，每個智慧體透過共享拓撲狀態來感知其他智慧體的策略，從而緩解因複雜互動導致的訓練不穩定性。與完全分散式方法不同，這種集中式訓練允許智慧體在訓練階段獲取全域性視角，而執行時則完全分散式，消除了即時通訊的需求。其次，框架整合了一個拓撲安全層，利用拓撲不變數（如纏繞數和連通性）來準確評估機器人之間的纏繞風險，並在策略決策時主動規避高風險狀態，避免陷入區域性最優。最後，透過分散式執行，機器人之間無需交換訊息，降低了通訊開銷並提高了系統的魯棒性。
研究團隊在逼真的模擬環境中進行了全面實驗，對比了多種基線方法，包括深度Q網路（DQN）、近端策略最佳化（PPO）及其多智慧體變體。結果表明，TD-MARL在收斂速度上顯著快於現有方法，在防纏繞成功率上提升了約30%，特別是在密集障礙物場景中表現突出。該方法不僅提高了任務完成效率，還減少了機器人之間的相互干擾。
該研究為軟體機器人在受限環境中的協同作業提供了新思路，有望推動精密製造、醫療手術和災難救援等領域的發展。論文由Haoyang Le、Shengxuan Wang、Mohan Chen和Shuo Feng共同撰寫，於2026年5月1日提交至arXiv，全文共17頁，包含4幅圖表。