大規模言語モデル(LLM)エージェントは、ブラウザ、ファイル、コード、ツールの操作にますます利用されており、パーソナルアシスタントへの展開が自然なターゲットとなっています。しかし、パーソナルエージェントはプライバシー、コスト、能力の間でジレンマを抱えています。クラウドモデルはマルチステップのワークフローをうまく実行できますが、機密性の高い中間コンテクストを外部APIにさらすことになります。一方、ローカルモデルはプライバシーを保護しますが、信頼性が低いままです。また、どちらの設定でも、長いスキルプロンプトと増大する履歴に対して繰り返しコストがかかります。
この問題に対処するため、研究者らは定常コンテクストスキル学習(Constant-Context Skill Learning)を提案しました。これは、繰り返し発生するエージェントワークフローのためのコンテクストから重みへの変換フレームワークです。再利用可能な手順は軽量なタスクファミリーモジュールに学習され、推論時は現在の観測とコンパクトな状態ブロックのみに依存します。決定論的トラッカーがタスクの進行状況からこの状態ブロックを生成し、整合性のあるサブゴール報酬を提供するため、各モジュールはステップレベルのSFTで訓練され、オンラインRLで洗練されます。
ALFWorld、WebShop、SciWorldの各ベンチマークにおいて、提案エージェントはQwen3-4B、Qwen3-8B、Llama-3.1-8Bで強力な性能を達成しました。Qwen3-8Bを用いた場合、SFT+RLはALFWorldで89.6%の未見タスク成功率、WebShopで76.8%、SciWorldで66.4%を記録しました。これらの結果は、既存の強力なエージェント訓練結果に匹敵またはそれを上回り、さらに制御されたReActプロンプティングベースラインと比較して、ターンあたりのプロンプトトークンを2〜7倍削減しました。これは、手続き的コンテクストをプロンプトから重みに移行できることを示しています。