在強化學習（RL）領域，確保非平穩環境下的安全性是一項關鍵挑戰。傳統的安全RL方法通常假設環境是平穩的，並將重點放在長期約束上，但很少明確考慮學習系統的適應速度。當環境隨時間變化時，適應延遲可能導致短暫的不安全行為。針對這一問題，一篇發表在arXiv上的最新論文提出了一個名為“調整速度”的安全約束框架，旨在透過主動干預來預防潛在的安全違規。
該框架的核心思想是“適應可行性”：將安全定義為系統在給定時間內適應環境變化的能力。具體而言，它使用學習的上下文表示和短期上下文預測來估計未來的適應需求，並將其與智慧體預先校準的恢復能力進行比較。當預測的適應需求超過恢復能力時，系統會主動收緊允許的動作集，並啟用動作級遮蔽，從而在實際違規發生前減少不安全行為。
研究人員在非平穩駕駛環境中進行了實驗，結果顯示該方法主要減少了與環境變化對齊的短期視窗內的安全違規。消融研究進一步表明，動作級遮蔽在抑制峰值和尾部風險方面更為保守，而最佳化層面的調整則額外減少了短期的切換違規。這些結果支援了適應可行性作為非平穩強化學習實用安全原則的有效性，並證明了主動干預在環境變化期間改善安全性的潛力。
該研究為未來在自動駕駛、機器人等動態環境中部署安全RL系統提供了新的思路。透過將適應速度納入安全約束，系統可以更好地預測並應對未知的變化，從而在保障效能的同時降低事故風險。此外，該方法計算開銷相對較低，便於整合到現有的RL框架中，具有很好的實用前景。論文還討論了未來工作的方向，包括將其擴充套件到多智慧體場景以及與其他安全方法相結合的可能性。