本文介绍了一篇于2026年5月17日提交至arXiv的论文《Behavior-Aware Auxiliary Corrections for Off-Policy Temporal-Difference Prediction》（面向离策略时序差分预测的行为感知辅助修正），作者为Xingguo Chen等共七人，论文编号为arXiv:2605.28855v1，归类于人工智能（cs.AI）领域。
论文关注的核心问题是：在使用函数逼近的时序差分（TD）学习中，离策略采样可能导致学习过程不稳定。已有的TDC方法通过引入一个辅助的协方差修正项来稳定离策略TD，而TDRC则进一步在单时间尺度递归中对这一修正项施加正则化。本文在随机游走等经典线性预测设定下重新审视这一辅助修正的几何结构，提出以“行为感知”的方式替换原有的辅助协方差几何。
作者采用了两步式的构造方法。第一步，将TDC中的辅助矩阵 C 替换为行为贝尔曼矩阵 A_μ，得到新算法 BA-TDC；第二步，对同一行为感知方程进行正则化，得到 BA-TDRC。这种分步设计的好处在于，可以把“行为感知几何”带来的贡献与“正则化”带来的贡献清晰地分离开来，从而分别评估二者在稳定性与收敛速度上的作用。
在理论分析方面，作者在线性预测设定下给出了有限状态的均值系统（mean-system）表述，证明了在实例化均值系统满足Hurwitz稳定性条件时，算法保持不动点并实现几乎必然收敛。此外，作者还通过精确线性误差递归的谱半径来比较各算法的确定性均值收敛速率，为不同方法提供了可量化的理论比较工具。论文同时指出，这一线性分析也为神经网络价值逼近中出现的辅助几何设计问题提供了一个易于处理的模型——在神经网络中，特征协方差与时序转移矩阵共同塑造了最后一层修正的动态行为。
实验部分覆盖了四个典型场景：两状态反例、Baird反例、随机游走以及Boyan链。实验结果表明，行为感知替换本身在某些任务上可以带来非常显著的收益，但在更困难的设定下，仅靠替换并不足以保证稳健性能，必须配合正则化才能获得可靠的跨任务表现。这一发现凸显了BA-TDC与BA-TDRC之间的互补关系，也说明辅助几何的重新设计与正则化在稳定离策略TD学习中扮演着不同但同等重要的角色。