隨著全球電力系統向低碳化轉型,分散式能源資源(DER)的整合變得日益關鍵。DER包括太陽能光伏、風力發電、儲能系統以及電動汽車等,它們通常位於使用者側,具有分散性和波動性。有效協調這些資源,釋放其靈活性,是提高電網效率和可靠性的重要途徑。然而,DER的固有不確定性——如可再生能源的間歇性和使用者行為的隨機性——以及其複雜的建模需求,使得傳統的數學最佳化方法面臨嚴峻挑戰。這些方法通常需要精確的數學模型和完整的系統資訊,但在實際應用中往往難以滿足。
近年來,強化學習(RL)作為一種資料驅動的決策方法,在DER管理領域展現出潛力。RL透過與環境的互動學習最優策略,無需精確的模型。然而,標準的RL方法在從零開始訓練時存在樣本效率低下和收斂到次優解的問題。為了克服這些不足,受大型語言模型(如GPT)訓練正規化的啟發,Haoyuan Deng及其合作者提出了一種監督強化學習(Supervised Reinforcement Learning, SRL)框架,用於DER協調策略的學習。該框架的核心思想是先利用歷史或模擬生成的演示資料,透過監督學習的方式預訓練一個初步策略,然後再使用RL進行微調。
論文進一步設計了一個兩步微調過程:首先進行離線微調,使用固定的歷史資料批次最佳化策略的效能;然後進行線上微調,讓策略在實際或模擬的動態環境中進一步適應。這種分階段的方法不僅減少了線上學習的樣本需求,還提高了策略的魯棒性。實驗結果表明,基於SRL框架的RL實現顯著優於所有基準方法,包括傳統的最佳化方法和標準的RL演算法。即使在演示資料質量較低的情況下,SRL仍能保持高成本效益,展現出良好的實際應用前景。該研究成果已在PSCC2026(電力系統計算會議)上發表,為DER管理提供了一種全新的、高效的方法論。