インコンテキスト強化学習（ICRL）は、近年、決定事前学習トランスフォーマー、アルゴリズム蒸留、長コンテキストメタRL、検索拡張エージェントなどの発展により再び注目を集めている。その核となるアイデアは、事前学習またはファインチューニングされた決定モデルが、相互作用の履歴から暗黙のタスクルールを推論し、テスト時のパラメータ更新なしに将来の行動を改善できるという点にある。しかし、既存のICRLサーベイは主に事前学習の目的、アーキテクチャ、コンテキスト形式、評価プロトコル、理論的メカニズムに焦点を当てており、非定常環境という重要なシナリオについては比較的十分に検討されていない。
現実世界の環境はしばしば動的に変化する。報酬関数、遷移カーネル、観測チャネル、行動インターフェース、制約モデル、さらにはデモンストレーションやメモリの分布が時間とともにずれる可能性がある。このような非定常条件下では、蓄積されたコンテキストは単に固定タスクに関する証拠ではなく、古くなったり誤解を招く情報を含む可能性がある。古い体制が戻ってきた場合には、過去のコンテキストが再び有用になることもある。したがって、エージェントは、現在適用される決定ルールと、どの過去の証拠がそのルールをまだサポートしているかを同時に推論する必要がある。これは、展開された方策パラメータを固定したまま、コンテキストのみを介して適応するという独特の問題である。
本サーベイは非定常ICRLを明確に定義し、メタRL、決定系列モデリング、検索拡張RL、価値/モデル認識ICRL、報酬フィードバックエージェントなどの関連分野と結び付ける。文献は3つの核となる問いに沿って整理される：（1）何が変化するか——変化の源泉（報酬、遷移、観測など）；（2）変化がどのように展開するか——頻度、振幅、パターン（突然の切り替え、徐々のドリフト、循環的変化など）；（3）変化がエージェントにどの程度観測可能か——変化信号を直接観測できるか、間接的な手がかりからのみ推論するか。
このフレームワークを通じて、本稿はロボット制御、自動運転、適応型レコメンデーションなどの分野における非定常ICRLの潜在的な応用価値を明らかにし、よりロバストなコンテキスト再利用戦略の設計、外部メモリとオンライン評価機構の統合、モデルベースのオフライン計画との組合せなど、今後の研究の方向性を指摘する。動的環境におけるコンテキスト学習能力を深く理解したい研究者やエンジニアにとって、本サーベイは明確なロードマップを提供する。