LangSmithは、LLMアプリケーションを本番環境に移行する開発者が直面する最大の課題であるテストと評価の問題に対処するため、2023年11月22日にテスト共有機能を発表しました。この機能により、誰でも評価データセットと結果を公開共有できるようになり、コミュニティ主導の評価とベンチマークが促進されます。同時に、結果を再現してアーキテクチャを簡単に実験できる新しいlangchain-benchmarksパッケージもリリースされました。
テスト共有機能の利点は、最終的な指標だけでなく、各評価結果に完全なトレースが含まれることです。これにより、集計統計やシステムレベルの出力を超えて、同じデータポイント上での異なるシステムのステップバイステップの実行を確認できます。最初にリリースされたベンチマークは、LangChain Pythonドキュメントに関するQ&Aデータセットです。このデータセットは、複数のドキュメントから情報を合成する必要がある質問や、ドキュメントの知識と矛盾する質問に対して、RAGシステムが正確に答えられるかをテストするために手作業で作成されました。
langchain-benchmarksパッケージは、さまざまなLLM、プロンプト、インデックス技術などを簡単にテストできる機能を提供します。初期評価では、使用する言語モデル（OpenAI、Anthropic、オープンソースモデル）と認知アーキテクチャ（会話型検索チェーン、エージェント）の次元で異なる実装が評価されました。会話型検索チェーンは同じ検索器（OpenAIのtext-embedding-ada-002とChromaDBを使用）を使用するため、結果の違いは主にLLMの推論能力に起因します。エージェントは同じ検索ツールを使用しますが、LLMが独自のクエリを生成できます。
評価指標には、コサイン距離（低いほど良い）とLLMベースの精度スコア（高いほど良い）が含まれます。結果は、OpenAIのAssistant APIが最高スコア0.62を獲得し、gpt-4-preview-openai-functions-agentが0.58で続きました。会話型検索チェーンでは、gpt-4-chatが0.50、gpt-3.5が0.56、オープンソースモデルのzephyr-7b-betaとmistral-7b-instructはそれぞれ0.31と0.46でした。全体として、オープンソースモデルは既製のプロンプトでは専用APIの総合性能に及ばず、プロンプトエンジニアリングにより差を縮められる可能性があります。
LangSmithの比較ビューを使用すると、出力を手動でレビューして失敗モードを特定できます。例えば、パッケージの範囲に関する知識を必要とする質問では、gpt-3.5が幻覚を起こし、偽のリンク（https://docs.langchain.com/java-sdk）を提供しました。一方、mistralモデルは正解ではありませんでしたが、不正確な情報を生成しませんでした。トレースを確認すると、検索されたドキュメントが元のクエリにほとんど関連していないことがわかります。システムプロンプトを追加してモデルに検索内容のみに基づいて回答するよう促したり、検索器を改善して無関係なドキュメントをフィルタリングしたりできます。別の例では、gpt-3.5が正解し、mistralが不正解でした。これはmistralがドキュメントの内容に影響されすぎたためです。トレースを見ると、「SelfQueryRetriever」が検索されたドキュメントの5番目にのみ言及されており、関連性が最も低いことがわかります。このドキュメントに基づいて回答したことは、入力の順序を変更することでパフォーマンスが向上する可能性を示唆しています。実際にドキュメント1と5を入れ替えると、LLMは正しい答えを返しました。
回答の正確性に加えて、レイテンシも重要な指標です。記事は途中で切れていますが、LangSmithの共有機能は開発者がLLMアプリケーションを総合的に評価および最適化するのに役立つことを目的としています。公開ベンチマークとツールを通じて、LangChainはコミュニティ主導の評価を促進し、LLMアプリケーションの開発と展開を加速させたいと考えています。