非平稳环境下的上下文强化学习综述
本文综述了非平稳环境下的上下文强化学习（ICRL），即预训练或微调的决策模型如何仅通过交互上下文推断潜在任务规则并改进未来行为，而无需在测试时更新参数。在变化的环境中，累积的上下文可能变得过时甚至误导，因此策略必须推断当前决策规则并识别哪些历史证据仍然有效。论文围绕三个核心问题组织文献：什么在变化、变化如何展开以及变化对智能体的可观察程度，并将其与元强化学习、决策序列建模、检索增强强化学习等方法联系起来。
上下文强化学习（In-Context Reinforcement Learning, ICRL）近年来因决策预训练Transformer、算法蒸馏、长上下文元强化学习及检索增强智能体等技术的发展而重新受到关注。其核心思想是：预训练或微调后的决策模型能够从交互历史中推断隐含的任务规则，并据此改进未来的决策行为，而无需在测试阶段进行参数更新。然而，现有的ICRL综述主要围绕预训练目标、模型架构、上下文格式、评估协议和理论机制展开，对非平稳环境这一关键场景的探讨相对不足。
现实世界中的环境往往是动态变化的：奖励函数、转移核、观测通道、动作接口、约束条件，甚至示范数据和记忆分布都可能随时间发生偏移。在这种非平稳条件下，累积的上下文不再仅仅是关于固定任务的证据，而可能包含过时甚至误导性的信息。当旧场景重现时，某些历史上下文甚至会重新变得有用。因此，智能体必须同时推断当前适用的决策规则，并判断哪些历史证据仍然支持该规则——在策略参数固定不变的情况下仅通过上下文实现适应。
这篇综述将非平稳ICRL定义为一个独特的适应问题，并系统梳理了相关工作。作者将其与元强化学习、决策序列建模、检索增强强化学习、价值/模型感知ICRL以及基于奖励反馈的智能体等方向进行了关联。文献组织围绕三个核心问题展开：（1）什么在变化——即变化的来源（如奖励、转移、观测等）；（2）变化如何展开——包括变化的频率、幅度和模式（如突然切换、渐进漂移或循环变化）；（3）变化对智能体的可观察程度——智能体是否能直接观测到变化信号，或者只能通过间接线索推断。
通过这一框架，本文揭示了非平稳ICRL在机器人控制、自动驾驶、自适应推荐等领域的潜在应用价值，并指出了未来值得探索的研究方向，例如如何设计更鲁棒的上下文重用策略、如何结合外部记忆与在线评估机制，以及如何将此类方法与基于模型的离线规划相结合。对于希望深入理解动态环境中上下文学习能力的学者和工程师而言，这篇综述提供了清晰的路线图。