梯度时序差分方法在带线性函数逼近的离策略预测中能够提供稳定的学习过程,但其实际表现很大程度上受辅助变量所诱导的度量几何影响。现有的Mirror-Prox时序差分方法通常采用特征协方差作为度量,而混合TD方法的经验表明,行为策略的转移信息可能提供更有信息量的更新几何。这篇由Xingguo Chen等六位作者完成的论文据此提出了一种新的行为诱导Mirror-Prox时序差分方法,简称STHTD-MP。
STHTD-MP的核心改动在于:在原始-对偶鞍点表述中,不再使用协方差度量,而是用行为策略Bellman矩阵的对称部分来替代。由此得到的混合鞍点算子同时包含值函数逼近与行为策略转移两方面的信息。方法对原始变量和辅助变量只保留一个统一的学习率,并在该算子上施加Mirror-Prox的预测-校正步骤,从而在保持算法简洁的同时改变更新的几何结构。
论文给出了固定策略线性预测下的形式化收敛分析,所依据的是标准的随机逼近假设。分析表明行为诱导度量是正定的,联合均值系统满足Hurwitz条件,有界性可由Lyapunov论证得到,而随机递推的收敛性则通过常微分方程方法建立。这些步骤共同保证算法在通常条件下收敛到正确的预测解。
在收敛速度方面,作者进一步推导了投影预言机意义下的遍历间隙界,并基于确定性Mirror-Prox误差矩阵的谱半径,给出了与GTD2-MP的精确均值算子比较。分析显示,当行为诱导度量确实改善了鞍点几何时,STHTD-MP的均值收缩因子可以小于GTD2-MP,这意味着更快的主元误差衰减。
数值验证方面,作者在两状态问题、随机游走以及Boyan链等基准上进行了精确的均值算子分析,结果支持上述条件成立时STHTD-MP更优的判断。同时,论文也指出Baird反例是一个奇异的边界情形,其中严格假设不再满足,因此该方法的理论保证在该场景下并不直接适用。这一限定说明方法优势依赖于行为诱导度量对几何的实际改善,而非无条件成立。