R2D-RL 是一个面向多智能体强化学习（MARL）的机器人足球训练环境，由 Haobin Qin 等四位作者完成，并于 2026 年 6 月 17 日提交至 arXiv，论文编号为 arXiv:2606.18786v1，归类于人工智能（cs.AI）方向。论文摘要指出，机器人足球之所以是多智能体强化学习领域中极具挑战性的测试平台，是因为它同时融合了部分可观测性、合作与对抗并存的多方交互、稀疏奖励以及长时程的战术行为规划等多重难点。
RoboCup 2D 足球仿真（RCSS2D）本身已经是一个成熟的机器人足球平台，长年为竞赛服务。然而，论文作者指出，其面向比赛的服务器—客户端架构难以直接适配当前主流的、基于 Python 的 MARL 工作流；这种架构与训练框架之间的断层，正是许多研究者难以直接在 RCSS2D 上开展强化学习实验的关键障碍。
为了解决这一问题，作者提出了 R2D-RL：这是一个强化学习环境，将 RCSS2D 以及基于 HELIOS 的球员客户端，通过共享内存通信和周期级同步的方式接入 Python 的 MARL 接口。借助共享内存与逐周期对齐，原本为竞赛设计的仿真系统得以在现代强化学习训练循环中稳定运行。
在功能层面，R2D-RL 支持全场训练与基于场景的训练，并允许配置不同的对手；它同时提供 Base 离散动作空间与 Hybrid 参数化动作空间两种选择，并支持动作掩码以及基于预期控球价值（EPV，expected possession value）的奖励塑形，此外还支持并行执行，以便提升训练吞吐。
为了便于评测与复现，作者还给出了面向球门的场景集，以及一个 11 对 11 的全场基准，并附上基线结果。论文注释中提供了代码链接，摘要页面还列出了 PDF、实验性 HTML 以及 TeX 源码等全文访问入口；该论文通过 DataCite 分配 DOI（https://doi.org/10.48550/arXiv.2606.18786），目前 DOI 注册尚待完成。提交信息显示，论文由 Haobin Qin 于 2026 年 6 月 17 日星期三 07:57:06 UTC 提交，文件大小约 6,181 KB，当前浏览语境为 cs.AI 下的 2026 年 6 月新近条目。