現代エージェントシステムにおける自己改善：サーベイ
本サーベイでは、自己改善型自律エージェントが研究プロトタイプから実運用システムへ移行する動向を概観する。システムレベルのフレームワークを提案し、エージェントを基盤モデルとプロンプト、メモリ、ツール、制御ロジックからなる操作スキャフォールドの結合としてモデル化する。自己改善は、モデルパラメータまたはスキャフォールドコンポーネントを更新する自己誘導型更新演算子として定式化される。論文は更新対象と駆動信号によって既存研究を分類し、応用、評価、および今後の課題について議論する。
近年、自己改善能力を持つ自律エージェントは研究プロトタイプから実際のシステムへと急速に移行しつつあります。これらのシステムの主な目標は、人間の入力を最小限またはまったく必要とせずに、経験から制御可能な進化（適応）を実現することです。arXivで公開された最新のサーベイ論文（論文ID：2607.13104）は、この分野を包括的に整理し、統一的なシステムレベルのフレームワークを提案しています。本サーベイはZhe Renら12名の著者によるもので、97ページ、12の図表から構成され、GitHubリポジトリ（https://github.com/selfimproving-agent/awesome-Self-Improving-Agents）にて最新技術の動向を追跡できるようになっています。
このフレームワークでは、現代のエージェントは基盤モデル（大規模言語モデルなど）と、プロンプト、メモリ、外部ツール、制御ロジックからなる操作スキャフォールドの結合として表現されます。自己改善は「自己誘導型更新演算子」として形式化され、現在の設定、環境からのフィードバック、自身のパフォーマンスを観察し、モデルパラメータやスキャフォールドコンポーネントの更新を生成・適用します。この形式化により、自己改善プロセスを記述・分析・比較することが可能になります。
著者らは、更新対象（モデルパラメータ、スキャフォールド、またはその両方）と改善を駆動する信号（内部フィードバック、外部報酬、自己評価など）に基づいて既存研究を分類しています。モデルパラメータ更新の関連研究には、強化学習によるファインチューニング、オンライン学習による重み更新、自己生成データを用いた訓練などが含まれます。スキャフォールドコンポーネントの更新では、プロンプト最適化、メモリ構造の動的調整、ツール呼び出し戦略の改良などが研究されています。また、両方を同時に更新してより完全な適応システムを構築する試みもあります。
応用分野としては、コード生成（実行フィードバックに基づく自動修正）、ロボット制御（試行錯誤による行動戦略調整）、対話システムなどが挙げられています。しかし、現在の評価手法は特定の環境やタスクに限定される傾向があり、汎用性や比較可能性に欠けるという課題が指摘されています。
最後に、いくつかの未解決問題が提起されています。第一に、改善プロセスの制御可能性と安全性の確保、すなわちエージェントが有害な行動を取ったり元の目標から逸脱したりするのを防ぐこと。第二に、能力低下や目標のずれ（ドリフト）を防止しながら自己改善を継続すること。第三に、自己改善能力をタスク横断的に汎化し、学んだ改善戦略をさまざまなシナリオに適用できるようにすること。さらに、説明可能性、計算効率、人間の価値観との整合性などの課題も議論されています。本サーベイは現状をまとめるだけでなく、将来の研究に明確な方向性を示しています。