行為感知的離線策略時序差分預測輔助修正

在離線策略時間差分學習中，函數近似可能導致不穩定性。TDC算法通過輔助協方差修正來穩定，而TDRC進一步在單時間尺度遞歸中正則化該修正。本文研究了在線性預測設置下，用行為貝爾曼矩陣替代輔助協方差矩陣的幾何結構，提出了BA-TDC和BA-TDRC算法。這種兩步驟構建分離了行為感知幾何和正則化的貢獻。線性分析為神經網絡值近似中的輔助幾何設計問題提供了可處理模型，其中特徵協方差和時間轉移矩陣共同影響最後一層的修正動力學。作者給出了有限狀態均值系統公式，在均值系統的Hurwitz穩定性條件下證明了不動點保持和幾乎必然收斂，並通過精確線性誤差遞歸的譜半徑比較了確定性均值速率。在二狀態反例、Baird反例、隨機遊走和Boyan鏈上的實驗表明，行為感知替換本身在某些任務上非常有益，但正則化對於在更困難設置下獲得穩健性能是必要的。該工作為離線策略強化學習中的穩定訓練提供了新的理論工具和實踐指導。此外，該研究還揭示了行為感知幾何與正則化之間的相互作用，為未來在深度強化學習中的應用奠定了基礎。通過分離不同貢獻來源，BA-TDC和BA-TDRC不僅提升了收斂速度，還增強了算法的可解釋性。實驗部分詳細展示了在不同難度任務上的表現差異，強調了正則化在複雜環境中的關鍵作用。總體而言，這項研究為處理離線策略學習中的不穩定性問題提供了創新的解決方案，並有望推動相關領域的進一步發展。