LangSmith Engine は、LangSmith プラットフォームの新機能で、エージェントの改善プロセスを自動化します。従来、開発チームはトレースデータを手動で確認し、障害パターンを探し、評価と修正コードを作成する必要がありました。Engine はこれらのステップを自動的に実行します。本番トレースを継続的に監視し、類似した障害を名前付き問題にクラスタリングし、コードに対して根本原因を診断し、プルリクエストと評価器を自動生成します。
LangSmith Engine は本日よりパブリックベータ版として利用可能です。
すべてのエージェントチームが実行しているループ
典型的なエージェント開発サイクルには、トレースの確認、障害パターンの特定、プロンプトやツールの変更、データセットの作成、実験の実行、デプロイが含まれます。LangSmith はすでにトレースビューや実験ツールを提供していましたが、顧客からいくつかの課題が報告されていました。個々のトレースレビューではパターンが明らかになりにくい、障害の発生頻度を大規模に追跡するのは困難、本番データからオフライン評価のグラウンドトゥルース例を作成するのは面倒で省略されがち、修正後に同じ問題をキャッチするための的を絞った評価器が存在しない、などです。
Engine はこれらの問題に対処します。チームは優先順位付けされた障害のリストを確認し、自動生成された修正案を取得し、テストスイート用のオフライン評価例を得ることができます。
実際の例
カスタマーサポートボットを例に考えます。Engine が、ユーザーがサブスクリプションのキャンセルについて質問しているトレースのクラスターを検出します。エージェントの応答はオンライン評価で失敗と判定され、ユーザーフィードバックは否定的です。Engine はこれを「エージェントがサブスクリプションキャンセル要求を正確に処理できない」という名前付き問題として表示します。深刻度（高、今週のサポートセッションの12%に影響）、タイムライン（4日前に開始、最近のデプロイと相関）、および証拠となるトレースへのリンクが示されます。リポジトリが接続されている場合、Engine は関連コードを読み取り、根本原因を特定します。キャンセルツールの説明があいまいで、ユーザーがオプションを尋ねているだけの場合でもエージェントがキャンセルを試みていました。Engine はツール説明を修正するプルリクエストを自動作成します。さらに、この動作を継続的に監視するカスタムオンライン評価器を提案し、失敗したトレースをオフライン評価データセットに取り込みます。
Engine が各問題に対して行うこと
Engine は各問題に対して3つの解決策を提案します。プルリクエストの作成（リポジトリ権限が必要）、カスタムオンライン評価器の作成、失敗したトレースのオフライン評価スイートへの追加です。解決された問題ごとに評価カバレッジが向上します。
Engine の仕組み
LangSmith Engine は、トレースデータ、評価フィードバック、ソースコードにアクセスできるディープエージェントによって駆動されます。明示的なエラー、オンライン評価の失敗、異常、否定的なユーザーフィードバック、異常な動作など、複数のシグナルを監視します。複数のトレースにパターンが見られると、それらを単一の名前付き問題にクラスタリングします。Engine は LangSmith の既存のトレースおよび評価インフラストラクチャ上に構築されており、既存の評価結果を入力として使用します。
顧客の声
Cogent、Harmonic、Campfire などのチームはすでに Engine を使用して、数千のトレースに影響する問題を解決しています。彼らは回帰を早期に発見し、修正を迅速に出荷し、トリアージにかかる時間を削減しています。
今後の展望
LangSmith チームは、エージェント改善ループをさらに自動化し、よく理解された問題タイプは人間のレビューなしで解決できる未来を目指しています。LangSmith Engine はその第一歩です。
始め方
LangSmith Engine は現在パブリックベータ版で利用可能です。トレースプロジェクトを接続し、オプションでリポジトリを接続すると、Engine が自動的に本番トレースから問題を抽出します。