本文介绍的是2026年6月23日提交至arXiv的一篇论文《Supervised Reinforcement Learning for the Coordination of Distributed Energy Resources》(分布式能源资源协调的监督式强化学习),第一作者为Haoyuan Deng,另有三位合作者,论文编号为arXiv:2606.24947v1,属机器学习(cs.LG)与系统与控制(eess.SY)交叉方向,并已在PSCC2026会议上报告。
论文的出发点在于电力系统脱碳进程。随着分布式能源资源(DERs)的接入规模不断扩大,其在电力系统低碳转型中的作用愈发关键,但要充分释放DERs的灵活性,仍面临两大障碍:一是DERs本身固有的不确定性,二是建模上的复杂性。传统的优化方法在处理这类不确定性与复杂性时表现吃力,因此强化学习(RL)被视为DER管理的一种有前景的替代方案。
然而,论文指出标准强化学习方法存在明显短板。若从零开始训练,RL往往样本效率低下,需要大量交互数据,且容易收敛到次优策略。针对这一问题,作者从大语言模型的训练范式中获得启发,提出了一套监督式强化学习(SRL)框架,用于学习DER协调策略。
该框架的核心思路分为两个阶段。首先,以监督学习的方式在示范数据上对策略进行预训练,使策略在进入强化学习之前就具备一定的基础能力;随后,再用强化学习对该策略进行进一步微调。作者还设计了一个两步微调流程:第一步是离线微调,用于提升策略本身的性能;第二步是在线微调,使策略能够适应真实世界的动态变化。这种“先监督预训练、再离线微调、最后在线微调”的路径,旨在兼顾样本效率与最终策略质量。
实验结果显示,基于该框架实现的强化学习方法显著优于所有对比基准,即便在示范数据质量较低的情况下,也能实现较高的成本效率。这一结果表明,监督预训练能够有效缓解从零训练带来的样本效率与次优性问题,而在线微调则有助于策略适应实际运行环境。论文的贡献在于将大模型领域已被验证的训练范式迁移到能源系统控制问题中,为DER协调提供了一条可复用的技术路线。
需要说明的是,本文所依据的是论文摘要与arXiv元数据,包括提交时间、作者信息、会议报告情况以及分类信息;摘要中并未披露具体的实验设置、数据集细节与数值结果,相关问题仍需参阅论文全文。论文全文以PDF及实验性HTML形式提供,并给出了DOI链接。