長距離LLM推論のためのコンテキストリサイクル

大規模言語モデル（LLM）は短いコンテキストでの推論に優れていますが、会話のターン数が増えるにつれて、コンテキストウィンドウの制限と非効率なトークン使用により性能が低下します。この問題に対処するため、研究者はContextForgeシステムを提案しました。これは、長期的な推論タスクにおいてタスク関連情報を維持するためのコンテキストリサイクルメカニズムです。

ContextForgeの中心は、構造化クエリ生成、外部メモリ検索、制御された合成の組み合わせです。システムは、現在のタスクに関連する過去の情報を特定するためのクエリを生成し、外部メモリからその情報を取得し、制御された合成を通じて現在のコンテキストに統合します。このアプローチは、完全なコンテキストの再生に伴う高コストを回避し、トークンオーバーヘッドを削減しつつ、回答の品質を維持します。

ContextForgeの有効性を検証するため、研究チームは15ターンからなる医療分野のベンチマークを作成し、マルチターン推論、バックリファレンス、ドメインシフトなどの複雑なシナリオをテストしました。同一の基礎モデルを使用するベースラインエージェントと比較して、ContextForgeは同等の応答精度を維持しながら、一貫性の向上とトークン消費の削減を示しました。これらの結果は、コンテキストリサイクルが、より大きなコンテキストウィンドウやモデルの再トレーニングを必要とせずに、長期的なタスクにおけるLLMの能力を拡張する実用的なアプローチであることを示唆しています。

現在、ContextForgeのコードと評価ツールはGitHubで公開されており、研究コミュニティがさらに探索・応用できるようになっています。この研究は、長い会話シナリオにおけるLLMの実用性を高める新たな道を開くものです。