LangChain LabsはFireworksと協業し、コストを100分の1に抑えたトレースジャッジを開発した。このジャッジはQwen-3.5-35Bモデルをベースにファインチューニングされており、プロダクショントレースから「知覚エラー」のシグナルを効率的に検出する。性能はフロンティアモデルに匹敵ないし凌駕し、実行コストは最大100分の1だ。
LangSmithは毎日数十億トークンのプロダクショントレースを処理する。エージェントシステムが実運用されるにつれ、トレースはシステムの振る舞いを理解するための豊富なデータ源となる。しかし、すべてのトレースから重要なシグナルをコスト効率よく抽出することが課題だった。今回の協業はその答えを提供する。
知覚エラーは、ユーザーがアシスタントの応答に誤りがある、または修正が必要だと感じた場合を指す。客観的な正しさやユーザー満足度とは異なる概念だ。例えば、正しい回答であってもユーザーが情報自体に不満を感じる場合も含む。このシグナルは、ユーザーによる修正、エージェントのアクション拒否、繰り返しリクエスト、アシスタントのエラー認識などのトレースシグナルから推測される。LangChainは、知覚エラーが汎用的な評価指標であり、さまざまなアプリケーションに適用可能だと考えている。
トレーニングには、chat-langchain（技術QA）とFleet（ノーコードエージェントツール）の2つの内部データセットからマルチターントレースを抽出した。データ準備では、人間とAIのメッセージのみを対象とし、ツールコールは除外。また、長いコンテンツのトリミングは行わなかった。ラベル付けはモデル支援と人間レビューの組み合わせで実施。まず複数のモデルで判断し、一致した場合を正解とし、不一致の場合は別のモデルパネルで再判断。それでも一致しない場合は人間が手動でラベル付けした。結果、chat-langchainでは24％、Fleetでは18％のトレースに知覚エラーラベルが付与された。
実験では、ファインチューニングによりベースモデルがフロンティアモデルと同等以上になること、chat-langchainのみで訓練したモデルがFleetデータセットでもフロンティアモデルを上回ることを確認。さらに、フロンティアモデルに比べ10〜100倍のコスト削減が可能であることが示された。
今後は継続学習とトレース理解の研究を進め、各チームが独自の評価モデルを構築するためのガイドラインを提供する予定だ。知覚エラーモデルは現在早期テストを募集中で、数週間から数カ月以内に広く展開される見込みである。