新たに公開されたarXiv論文は、検索拡張生成（RAG）を、検索された文書を単なる静的な証拠として扱うのではなく、文脈内最適化のプロセスとして捉えている。Mingchen Li氏と他4名の著者による「In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective」は、2026年5月25日に投稿され、計算と言語（cs.CL）のカテゴリに分類されている。出発点は、文脈内学習と線形自己注意モデルにおける暗黙の勾配降下とを結びつける最近の研究を、RAGの実践と接続することにある。
従来のRAGパイプラインは、外部コーパスから文書を検索し、それらをモデルの文脈に付加して参照候補として扱う。論文の著者らは、検索された文書は適応のシグナルとしても解釈できると主張する。つまり、それらは単なる答えの補助ではなく、モデルの順伝播の過程で更新を誘発しうるということだ。
論文の中心的な理論的結果は線形化された設定に関するもので、1つの線形自己注意層が、統一的な線形化RAG目的関数上での勾配降下1ステップに対応しうることを示す。この目的関数は、射影ベースの検索インターフェースと内積ベースの検索インターフェースの両方をカバーするように設計されており、検索拡張予測と文脈内最適化がある厳密な領域で一致することを示している。著者らは、この結果が実際の大規模言語モデルの計算を文字通りに記述したものではないと明言している。これは、クエリと検索された証拠の間の相互作用をどのように適応させるかを理解するための数学的な指針である。
論文は続いて、この対応関係の境界を検討する。制御された線形拡張の下では対応は安定するが、非線形アーキテクチャの下では特徴分布に依存するようになる。これは、勾配降下としての正確な解釈を現代の非線形モデルへ直接持ち込むことが難しいことを意味する。
実用的な部分では、この視点を凍結されたRAG大規模言語モデル向けの軽量な手法へと変換する。検索器と言語モデルのバックボーンは固定されたままで、代わりにシステムは、生成器側の証拠利用インターフェースに対して文脈条件付きの更新を予測する。この更新は順伝播のみであるため、テスト時勾配適応に必要な逆伝播を避けつつ、モデルが検索された証拠に基づいてその利用方法を調整できるようにする。
著者らは、7つのQAベンチマーク、2つの検索器、2つの凍結された大規模言語モデルバックボーンでこの手法を評価している。順伝播のみの更新は共有インターフェースのベースラインを上回り、未見タスクへ転移し、はるかに低いクエリあたりコストでテスト時勾配適応の性能に近づく。論文はarXiv識別子2605.26356で公開されており、DOIはDataCiteを通じて割り当てられ、v1は273KBの投稿サイズで利用可能である。