在核聚变研究中，托卡马克装置的等离子体控制是一项核心挑战。传统的控制方法往往依赖于在线试错，但在真实装置上进行这类实验成本高昂且风险巨大。因此，利用历史放电数据训练控制器成为一条有前景的路径。离线强化学习（Offline Reinforcement Learning, RL）正是为此类场景而生：它能够从已有的静态数据集中学习策略，而无需与环境进行在线交互。然而，这一方向长期缺乏一个标准化的基准，导致不同方法之间难以进行公平比较，进展难以衡量。
针对这一问题，研究人员推出了RL4F——一个专为核聚变等离子体控制设计的离线强化学习基准。RL4F提供了闭环评估环境，并针对四个全剖面跟踪任务构建了基线对比：旋转、密度、温度和压强。这些任务要求控制器在长时间范围内对等离子体的多个关键参数进行精确调节，模拟了真实聚变装置中的复杂控制需求。
RL4F的评估环境背后的动力学函数并非来自简化模型，而是基于DIII-D托卡马克的真实历史放电数据构建。DIII-D是美国通用原子公司运营的一座中型托卡马克装置，其丰富的实验数据为基准的真实性提供了保障。通过这种方式，RL4F能够在逼近真实物理的条件下评估不同算法的表现，同时避免了在线实验的风险。
在统一的评估协议下，研究团队对多种模仿学习和离线强化学习基线方法进行了广泛测试。结果显示，离线基于模型的强化学习（model-based RL）方法在大多数目标任务上取得了最佳的平均性能。这类方法通过学习环境的动力学模型来辅助策略优化，从而在长时程、多执行器的复杂控制问题中展现出优势。不过，没有任何一种方法能够在所有任务中全面占优，这凸显了动力学建模在复杂等离子体控制任务中的重要性，也说明不同任务可能需要针对性的算法设计。
为了推动后续研究，作者开源了代码库、数据集和评估框架。这一基准不仅服务于聚变社区，也为离线强化学习算法的通用开发提供了测试平台。论文提交于2026年5月19日，共23页（正文10页），发表在arXiv的机器学习分类下（cs.LG），并交叉列出人工智能（cs.AI）分类。该工作由Yang Fu等七位作者共同完成。