勾配型時間差分法は線形関数近似を伴うオフポリシー予測において安定した学習を提供するが、その実用的な性能は補助変数が誘導するメトリックの幾何に強く依存する。既存のMirror-Prox型時間差分法は一般に特徴共分散をメトリックとして用いるが、ハイブリッドTD法の知見は、行動方策の遷移情報がより有益な更新幾何を与え得ることを示唆している。Xingguo Chenら6名による本論文は、この考えに基づき行動誘導型Mirror-Prox時間差分法STHTD-MPを提案する。
STHTD-MPの中心的な変更点は、原始-双対の鞍点定式化において共分散メトリックを行動方策ベルマン行列の対称部分に置き換えることである。これにより得られるハイブリッド鞍点作用素は、価値関数近似と行動方策の遷移の両方の情報を含む。本手法は原始変数と補助変数に対して単一の学習率を維持し、得られた作用素にMirror-Proxの予測-補正ステップを適用する。
論文は固定方策の線形予測に対する形式的な収束解析を与える。標準的な確率近似の仮定の下で、行動誘導メトリックの正定値性、結合平均系のHurwitz性、Lyapunov論法による有界性、そして常微分方程式法による確率再帰の収束が示される。
さらに著者らは射影オラクルによるエルゴディックギャップの界を導出し、決定論的Mirror-Prox誤差行列のスペクトル半径に基づいてGTD2-MPとの正確な平均作用素比較を行う。行動誘導メトリックが鞍点幾何を改善する場合、STHTD-MPの平均収縮因子はGTD2-MPより小さくなり得ることが示される。
数値検証では、二状態問題、Random Walk、Boyan Chainのベンチマークにおける正確な平均作用素解析がこの条件を支持する。一方、Bairdの反例は厳密な仮定が成立しない特異な境界ケースとして同定されている。したがって本手法の優位性は、行動誘導メトリックが実際に幾何を改善する場合に依存する。