本文にスキップ
AI News HubLIVE
サイト内リライト1 分で読了

履歴から状態へ:LLMエージェントのためのコンテクスト一定スキル学習

記事の要約

本論文は、定常的なワークフロー向けに、再利用可能な手順を軽量タスクファミリーモジュールに学習するフレームワークを提案。推論時は現在の観測とコンパクトな状態ブロックのみを使用し、プロンプトトークンを2〜7倍削減しつつ強力な性能を達成。

ソースarXiv AI著者: Haoyang Xie, Xinyuan Wang, Yancheng Wang, Puda Zhao, Feng Ju
履歴から状態へ:LLMエージェントのためのコンテクスト一定スキル学習
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

大規模言語モデル(LLM)エージェントは、ブラウザ、ファイル、コード、ツールの操作にますます利用されており、パーソナルアシスタントへの展開が自然なターゲットとなっています。しかし、パーソナルエージェントはプライバシー、コスト、能力の間でジレンマを抱えています。クラウドモデルはマルチステップのワークフローをうまく実行できますが、機密性の高い中間コンテクストを外部APIにさらすことになります。一方、ローカルモデルはプライバシーを保護しますが、信頼性が低いままです。また、どちらの設定でも、長いスキルプロンプトと増大する履歴に対して繰り返しコストがかかります。

この問題に対処するため、研究者らは定常コンテクストスキル学習(Constant-Context Skill Learning)を提案しました。これは、繰り返し発生するエージェントワークフローのためのコンテクストから重みへの変換フレームワークです。再利用可能な手順は軽量なタスクファミリーモジュールに学習され、推論時は現在の観測とコンパクトな状態ブロックのみに依存します。決定論的トラッカーがタスクの進行状況からこの状態ブロックを生成し、整合性のあるサブゴール報酬を提供するため、各モジュールはステップレベルのSFTで訓練され、オンラインRLで洗練されます。

ALFWorld、WebShop、SciWorldの各ベンチマークにおいて、提案エージェントはQwen3-4B、Qwen3-8B、Llama-3.1-8Bで強力な性能を達成しました。Qwen3-8Bを用いた場合、SFT+RLはALFWorldで89.6%の未見タスク成功率、WebShopで76.8%、SciWorldで66.4%を記録しました。これらの結果は、既存の強力なエージェント訓練結果に匹敵またはそれを上回り、さらに制御されたReActプロンプティングベースラインと比較して、ターンあたりのプロンプトトークンを2〜7倍削減しました。これは、手続き的コンテクストをプロンプトから重みに移行できることを示しています。

要点と分析を開く

記事インテリジェンス

エンジニア中級

要点

  • 定常コンテクストスキル学習フレームワークを提案
  • 決定論的トラッカーで状態ブロックとサブゴール報酬を生成
  • ALFWorld、WebShop、SciWorldで高性能を達成
  • ReActベースラインと比較してターンあたりのプロンプトトークンを2〜7倍削減

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

履歴から状態へ:LLMエージェントのためのコンテクスト一定スキル学習 | AI News Hub