LangSmith チームは本日、テスト実行比較機能のリリースを発表しました。この機能により、開発者は異なるテスト実行の結果を直感的に比較でき、LLM アプリケーションの反復改善を加速できます。
LLM アプリケーション開発において、評価は常に難しい課題です。プロンプト、チェーン、エージェントの変更が定量的にどのような影響を与えるかを評価するのは非常に困難です。LangChain チームは LLM 支援評価に期待を寄せていますが、完全に信頼することは難しいと認識しています。OpenAI の Jason Wei 氏は、優れた AI 研究者は大量のデータを手動で検査し、それを迅速に行うためのインフラを構築していると指摘しています。手動のデータ検査は地味ですが、問題に対する貴重な直感を与えてくれます。
この洞察に基づき、LangSmith は初期リリースでテストの実行と LLM 支援フィードバックスコアリングをサポートしていましたが、各テストは独立して実行されていました。すぐに2つの利用パターンが明らかになりました：ユーザーは LLM 支援評価を直接信頼することに慎重であり、また、単独のテスト実行をスコアリングするだけでなく、以前のイテレーションと比較したいと考えていました。そこで、テスト実行比較機能が開発されました。
具体的な使い方は次のとおりです。まず、データセットを設定してテストを実行します。次に、データセット内で2つ以上のテスト実行を選択し、「比較」ボタンをクリックすると比較ビューに移行します。このビューでは、各データポイントの入力、参照出力、実際の出力に加え、評価指標、時間、レイテンシが並べて表示されます。特定のデータポイントを詳しく見るには、該当行をクリックするとサイドバーが開き、実行の詳細が表示されます。サイドバーでは上下の矢印（▲と▼）で異なる実行間を簡単に切り替えられます。
また、比較ビューでは各列に Excel 風のフィルターが用意されています。LangSmith チームが推奨する最初のフィルター条件は、一方のテスト実行で正解したデータポイントと、もう一方で不正解だったデータポイントをフィルターすることです。これにより、2つのテスト実行間の差異が大きい箇所に素早く焦点を当て、何が変わったのかを発見しやすくなります。
LLM アプリケーションの構築において重要なのは、特定のタスクにおけるモデルの動作を理解することです。評価データセットを設定し、そのデータセット上で異なる実行を簡単に比較できる能力は、アプリケーションを改善するための理解を深める上で不可欠です。LangSmith のテスト実行比較機能は、まさにこの問題を解決することを目的としています。現在 LangSmith はプライベートベータ版であり、ユーザーはサインアップして待機リストに登録できます。今後数週間でさらにアクセスを拡大し、同様の機能を追加していく予定です。