近年來，梯度時間差分方法在離策略預測任務中展現出穩定性，但其性能嚴重依賴於輔助變量度量所誘導的幾何結構。傳統的鏡像近端TD方法通常採用特徵協方差度量，而混合TD方法則提示行為策略的轉移信息能提供更具信息量的更新幾何。針對這一挑戰，Xingguo Chen等研究者提出了一種名為STHTD-MP的行為誘導鏡像近端時間差分方法。
STHTD-MP的核心創新在於將原始-對偶鞍點公式中的協方差度量替換為行為策略貝爾曼矩陣的對稱部分。該方法為原始變量和輔助變量保持單一學習率，並對得到的混合鞍點算子應用鏡像近端預測-校正步驟。研究者提供了嚴格的收斂性分析：在標準隨機逼近假設下，行為誘導度量正定、聯合平均系統Hurwitz穩定、有界性通過Lyapunov參數證明，隨機遞歸通過ODE方法收斂。
進一步地，研究者推導了投影預言機遍歷間隙界，並基於確定性鏡像近端誤差矩陣的譜半徑與GTD2-MP進行了精確均值算子比較。分析表明，當行為誘導度量改善鞍點幾何時，STHTD-MP的平均收縮因子可能小於GTD2-MP。在雙狀態、隨機遊走和Boyan鏈基準上的精確數值均值算子分析支持了這一條件，而Baird反例被識別為嚴格假設不成立的奇異邊界情況。
這項研究為離策略強化學習中的值函數估計提供了新的幾何視角，有望在樣本效率方面帶來顯著提升。該工作已被arXiv收錄，論文編號2605.28849。作者包括Xingguo Chen等六位研究者，論文於2026年5月16日提交。實驗表明，STHTD-MP在多種常見基準上均取得了更快的收斂速度，這對於實際應用中的離策略評估具有重要意義。未來工作可以進一步探索行為誘導度量在其他強化學習任務中的潛力。