本論文は、オフポリシーサンプリング下での関数近似を伴う時間差分（TD）学習の不安定性問題に取り組む。TD学習はオフポリシー設定で発散する可能性があり、TDCは補助共分散補正を導入することで安定化を図り、TDRCはさらに単一時間スケールの再帰でこの補正を正則化する。著者らは、線形予測設定において補助共分散幾何を振る舞い認識型に置き換える手法を研究する。これは価値関数近似の特徴空間ダイナミクスを理解するための標準的な局所モデルである。
提案手法は二段階で構成される。まず、TDCの補助行列Cを振る舞いベルマン行列A_μに置き換え、BA-TDCを得る。これにより振る舞い認識型の幾何構造が導入される。次に、同じ振る舞い認識型方程式に正則化を施し、BA-TDRCを得る。この二段階構成により、振る舞い認識型幾何の寄与と正則化の寄与を明確に分離できる。この分離はアルゴリズムの各要素の役割を理解する上で極めて重要である。
理論分析では、有限状態平均系の定式化を与え、インスタンス化された平均系がHurwitz安定条件を満たす場合に、不動点保存とほとんど確実な収束を証明する。さらに、正確な線形誤差再帰のスペクトル半径を通じて決定論的平均速度を比較する。これらの分析は、線形予測設定におけるアルゴリズムの挙動に厳密な保証を与える。
実験は、2状態反例、Bairdの反例、ランダムウォーク、Boyanチェーンという4つの古典的ベンチマークで行われた。結果は、振る舞い認識型置換自体が一部のタスクで大きな利益をもたらすことを示す。しかし、より困難な設定では、置換だけではロバスト性を保証できず、正則化との組み合わせが安定かつ効率的な性能に不可欠である。これは著者らの二段階構成の必要性を裏付けるものである。
全体として、本研究はオフポリシーTD学習における補助幾何設計に新たな視点を提供し、その線形分析モデルはニューラルネットワーク価値近似における同様の設計問題に対する扱いやすい参考となることが期待される。論文はまた、より広範な強化学習応用への潜在的な影響についても議論している。