エージェントの改善はデータマイニングの問題である

人工知能エージェントの改善は、本質的にデータマイニングの問題です。LangChainの研究チームは、エージェントが環境で生成するトレースデータを分析し、価値あるシグナルを抽出することでエージェントのパフォーマンスを最適化しています。この見解は、今年のAI Engineer World Fairでの講演で深く掘り下げられました。

継続的学習、ハーネスエンジニアリング、ポストトレーニングはすべて、大規模にデータをキュレーションして実験を実行しエージェントを改善するという同じ基盤に帰着します。トレースからのデータマイニングは、企業がエージェントを理解し、大規模にデータをキュレーションし、改善ループを実行するために構築できる最もレバレッジの高い能力の1つです。

すべての継続的学習企業は、本質的に可観測性企業でもあります。継続的学習では、エージェントが環境で行動を起こし、その経験から生成された情報をエージェントシステムに統合します。これは人間が行動を通じて学習する方法に似ています。トレースは長期的なエージェント改善の通貨であり、エージェントの環境での経験をデータ形式に投影したもので、私たちが理解するためにマイニングできます。現在、すべての情報をどのように統合するかは明確ではありませんが、以下のような方法の組み合わせになる可能性があります：SFT、RLなどを介してトレーニングデータを収集しモデルウェイトに統合する；ハーネスエンジニアリングで指示、ツール、スキル、オーケストレーション戦略を追加する；情報をメモリストアに統合してコンテキスト検索に使用する。「スケーリングドリーミング」という用語は、大規模データと長期間にわたってこれを行う方法を説明するのに適しています。

LangChainは実用的なエージェント改善レシピを提供しています：データ収集フライホイールを起動し、データをマイニングして改善点を見つけ、評価（トレーニングデータ）をキュレーションし、エージェントを改善する実験を実行します。エージェントの動作は従来のコードよりも不透明であるため、大規模に評価を実行しトレースを読むことで、定量的な測定と直感を発展させる必要があります。現代のエージェントはより複雑になり、多くのデータを生成するため、数百万のトレース（多くは数百万トークン）を読むことはコストとコンテキストの問題を引き起こします。そのため、LangChainはトレースデータを効率的に理解しキュレーションするための専門エージェントとモデルを作成しました。

オープンモデルはインテリジェンスのしきい値を超え、大規模トレース処理のためのコスト効率の良いオプションです。各企業はトレース内で異なるシグナルを探します。これにはユーザーインタラクションのニュアンス、ドメイン固有データ、重要なデータサブセクションを区別する能力が含まれます。LangChainはトレース評価モデルを微調整し、狭いタスクではオープンな小モデルがクローズドなフロンティアモデルを上回り、実行コストが桁違いに安いことを発見しました。独自のモデルインテリジェンスを所有して展開するもう1つの利点は、トークンコストをインフラコストと交換することで、大規模実行をより安くできることです。

LangChainはまた、LangSmith Engine製品を構築しました。これは専門エージェントを使用してすべてのトレースを読み取り、チームが気にする特定のシグナルを探し、問題を発見し、コード修正を作成し、評価を生成し、重要な情報をメモリとコンテキストストアにコミットし、時間をかけて各エージェントを改善します。

モデル-タスク-ハーネス適合について、トレースマイニングの出力は改善ループ実験の入力になります。「良い」トレースのマイニングは、より小さなモデルを蒸留するシグナルを提供し、コスト効率を高めます。本番環境でのエージェントの障害はすべて、評価と環境を作成するターゲットになります。評価はエージェントのトレーニングデータであり、評価を通過させることで、トレースで測定された同じ動作がエージェントの動作に転送されます。

一般に、私たちの仕事は良いデータと良い適合関数を見つけることです。古典的な機械学習にはscikit-learnの適合関数がありましたが、現代のエージェントには微調整（SFT、RL、DPO）やハーネスエンジニアリング（評価スコアを登山指標として使用する自動研究など）の適合戦略があります。ハーネスはネイティブモデルインテリジェンスの増幅器と拡張器であり、モデルが賢くなるにつれて、多くのハーネスは溶解してモデルが自由にインテリジェンスを使用できるようになります。Terminal Bench 2.0では、正解率指標とトレースを登山することでハーネスを調整したところ、ベースハーネスに対して13.7%の向上が見られました。トレースは、単純なスカラー報酬を超えた豊富な動作フィードバックを提供することで、フィードバック信号を強化します。

ハーネスエンジニアリングと微調整のどちらをいつ行うべきかという質問に対して、成功する一般的な戦略は、ハーネスエンジニアリング→微調整→ハーネスエンジニアリングの漏斗（またはサンドイッチ）です。ハーネスエンジニアリングはほとんどのチームにとって十分であり、即時フィードバックと、知識やエラーの観察をエージェントに転送するための高帯域幅の表面を提供します。しかし、モデルが世代ごとに賢くなるにつれて、ハーネスエンジニアリングは最終的にインテリジェンスの天井に達します。その場合、または高推論ワークロードで情報をより小さなモデルに蒸留したい場合、微調整が理にかなっています。微調整はより複雑で、データのキュレーションとより長いフィードバックループでの実験が必要ですが、タスクに向けてモデルインテリジェンスを再形成することはパフォーマンスを向上させる効果的な方法です。微調整済みモデルに満足したら、さらなるハーネスエンジニアリングにより、新しいインテリジェンスの状況が関連問題にどのように一般化されるかを探ることができます。

まとめると、トレースのマイニングは登山のためのシグナルを提供します。オープンモデルの微調整と複合エージェントシステムは大規模トレースデータの処理を支援します。継続的学習は長期間にわたってエージェントデータを処理し統合することです。エージェントは人類史上よりも多くのデータを生成するため、それを処理するためのツールを更新する必要があります。LangChain Labsの研究チームはこれらの問題に焦点を当て、すべてのチームがデータを使用してより良いエージェントを構築できるよう支援しています。