R2D-RLは、マルチエージェント強化学習（MARL）向けのロボットサッカー訓練環境であり、Haobin Qin氏ら4名の著者によって開発され、2026年6月17日にarXivへ投稿された論文（arXiv:2606.18786v1、cs.AI分野）で発表された。論文の要旨は、ロボットサッカーが部分観測性、協調と敵対が同居する相互作用、疎な報酬、そして長期的な戦術行動の計画といった複数の難しさを同時に備えているため、マルチエージェント強化学習の厳しいテストベッドになると説明している。
RoboCup 2Dサッカーシミュレーション（RCSS2D）は、長年にわたり競技向けに使われてきた成熟したロボットサッカープラットフォームである。しかし著者らは、その競技志向のサーバー・クライアント型アーキテクチャが、現在主流となっているPythonベースのMARLワークフローにそのまま接続しにくいという課題を指摘している。このアーキテクチャと学習フレームワークの間の断絶こそが、多くの研究者がRCSS2D上で強化学習実験を直接行う際の障壁となっていた。
この問題を解決するため、著者らはR2D-RLを提案した。これはRCSS2DとHELIOSベースのプレーヤークライアントを、共有メモリ通信とサイクル単位の同期によってPythonのMARLインターフェースへ接続する強化学習環境である。共有メモリとサイクル単位の同期により、競技用に設計されたシミュレータを現代的な強化学習の訓練ループの中で安定して動作させることが可能になる。
機能面では、R2D-RLはフィールド全体を使った訓練とシナリオベースの訓練の両方をサポートし、対戦相手を設定できる。また、Baseの離散行動空間とHybridのパラメータ化行動空間の2種類を提供し、行動マスクや、期待ポゼッション価値（EPV、expected possession value）に基づく報酬整形にも対応する。さらに並列実行をサポートし、訓練のスループット向上を図っている。
評価と再現性のために、著者らはゴール前のシナリオ集と11対11のフィールド全体ベンチマークを用意し、ベースライン結果も併せて公開している。論文のコメント欄にはコードへのリンクが示されており、要旨ページにはPDF、実験的なHTML版、TeXソースなどの全文へのアクセス手段が掲載されている。本論文はDataCiteを通じてDOI（https://doi.org/10.48550/arXiv.2606.18786）が割り当てられており、登録は現在保留中である。投稿情報によれば、Haobin Qin氏による投稿日時は2026年6月17日水曜日07:57:06 UTC、ファイルサイズは約6,181 KBで、現在の閲覧コンテキストはcs.AIの2026年6月の新着項目である。