上下文強化學習（In-Context Reinforcement Learning, ICRL）近年來因決策預訓練Transformer、算法蒸餾、長上下文元強化學習及檢索增強智能體等技術的發展而重新受到關注。其核心思想是：預訓練或微調後的決策模型能夠從交互歷史中推斷隱含的任務規則，並據此改進未來的決策行為，而無需在測試階段進行參數更新。然而，現有的ICRL綜述主要圍繞預訓練目標、模型架構、上下文格式、評估協議和理論機制展開，對非平穩環境這一關鍵場景的探討相對不足。
現實世界中的環境往往是動態變化的：獎勵函數、轉移核、觀測通道、動作接口、約束條件，甚至示範數據和記憶分佈都可能隨時間發生偏移。在這種非平穩條件下，累積的上下文不再僅僅是關於固定任務的證據，而可能包含過時甚至誤導性的信息。當舊場景重現時，某些歷史上下文甚至會重新變得有用。因此，智能體必須同時推斷當前適用的決策規則，並判斷哪些歷史證據仍然支持該規則——在策略參數固定不變的情況下僅通過上下文實現適應。
這篇綜述將非平穩ICRL定義為一個獨特的適應問題，並系統梳理了相關工作。作者將其與元強化學習、決策序列建模、檢索增強強化學習、價值/模型感知ICRL以及基於獎勵反饋的智能體等方向進行了關聯。文獻組織圍繞三個核心問題展開：（1）什麼在變化——即變化的來源（如獎勵、轉移、觀測等）；（2）變化如何展開——包括變化的頻率、幅度和模式（如突然切換、漸進漂移或循環變化）；（3）變化對智能體的可觀察程度——智能體是否能直接觀測到變化信號，或者只能通過間接線索推斷。
通過這一框架，本文揭示了非平穩ICRL在機器人控制、自動駕駛、自適應推薦等領域的潛在應用價值，並指出了未來值得探索的研究方向，例如如何設計更魯棒的上下文重用策略、如何結合外部記憶與在線評估機制，以及如何將此類方法與基於模型的離線規劃相結合。對於希望深入理解動態環境中上下文學習能力的學者和工程師而言，這篇綜述提供了清晰的路線圖。