在复杂受限环境的精密制造领域，软体机器人因其柔顺性和适应性而日益受到重视。然而，在多机器人协作过程中，缠绕问题成为制约其应用的关键瓶颈。传统基于分布式训练的多智能体强化学习框架在高密度障碍物和不稳定环境中面临可观测性不足的挑战，导致机器人难以协调以避免纠缠。针对这一难题，来自中国的研究团队提出了一种拓扑驱动的多智能体强化学习（Topology-Driven Multi-Agent Reinforcement Learning, TD-MARL）框架，旨在通过引入拓扑信息来增强机器人之间的协调性。
该框架的核心创新包括三方面。首先，批评网络采用集中式学习，每个智能体通过共享拓扑状态来感知其他智能体的策略，从而缓解因复杂交互导致的训练不稳定性。与完全分布式方法不同，这种集中式训练允许智能体在训练阶段获取全局视角，而执行时则完全分布式，消除了实时通信的需求。其次，框架集成了一个拓扑安全层，利用拓扑不变量（如缠绕数和连通性）来准确评估机器人之间的缠绕风险，并在策略决策时主动规避高风险状态，避免陷入局部最优。最后，通过分布式执行，机器人之间无需交换消息，降低了通信开销并提高了系统的鲁棒性。
研究团队在逼真的仿真环境中进行了全面实验，对比了多种基线方法，包括深度Q网络（DQN）、近端策略优化（PPO）及其多智能体变体。结果表明，TD-MARL在收敛速度上显著快于现有方法，在防缠绕成功率上提升了约30%，特别是在密集障碍物场景中表现突出。该方法不仅提高了任务完成效率，还减少了机器人之间的相互干扰。
该研究为软体机器人在受限环境中的协同作业提供了新思路，有望推动精密制造、医疗手术和灾难救援等领域的发展。论文由Haoyang Le、Shengxuan Wang、Mohan Chen和Shuo Feng共同撰写，于2026年5月1日提交至arXiv，全文共17页，包含4幅图表。