核融合研究において、トカマク装置のプラズマ制御は中心的な課題である。従来の制御手法はオンラインでの試行錯誤に依存することが多いが、実装置での実験はコストが高くリスクも大きい。そのため、過去の放電データを利用して制御器を訓練するアプローチが有望視されている。オフライン強化学習（Offline RL）はまさにこのような状況のために生まれた技術で、既存の静的データセットから方策を学習でき、環境とのオンライン相互作用を必要としない。しかし、この方向には標準化されたベンチマークが長らく存在せず、異なる手法間の公平な比較が難しく、進展の測定が困難であった。
この問題に対処するため、研究者らはRL4Fを発表した。これは核融合プラズマ制御に特化したオフライン強化学習ベンチマークである。RL4Fは閉ループ評価環境を提供し、回転・密度・温度・圧力という4つの全プロファイル追従タスクに対してベースライン比較を可能にする。これらのタスクでは、制御器が長時間にわたりプラズマの複数の重要パラメータを正確に調整することを要求され、実際の核融合装置における複雑な制御ニーズを模擬している。
RL4Fの評価環境の背後にある動力学関数は、簡略化されたモデルではなく、DIII-Dトカマクの実際の履歴放電データから構築されている。DIII-Dは米国General Atomics社が運用する中型トカマク装置であり、その豊富な実験データがベンチマークの現実性を担保する。これにより、RL4Fは実物理に近い条件下で異なるアルゴリズムの性能を評価でき、同時にオンライン実験のリスクを回避できる。
統一された評価プロトコルの下で、研究チームは複数の模倣学習およびオフライン強化学習ベースラインを広範囲にテストした。その結果、モデルベースオフライン強化学習手法がほとんどの目的タスクで最高の平均性能を達成した。この手法は環境の動力学モデルを学習して方策最適化を支援することで、長時間・多アクチュエータの複雑な制御問題において優位性を発揮する。ただし、すべてのタスクで完全に優位に立つ手法は存在せず、複雑なプラズマ制御タスクにおける動力学モデリングの重要性が浮き彫りになるとともに、タスクごとに対応したアルゴリズム設計が必要であることを示唆している。
今後の研究を促進するため、著者らはコードベース、データセット、評価フレームワークをオープンソース化した。このベンチマークは核融合コミュニティに貢献するだけでなく、オフライン強化学習アルゴリズムの汎用的な開発のためのテストプラットフォームも提供する。論文は2026年5月19日に提出され、全23ページ（本文10ページ）で、arXivの機械学習分類（cs.LG）に掲載され、人工知能（cs.AI）にもクロスリストされている。本作業はYang Fu氏ら7名の著者によって共同で行われた。