Align Evals の紹介：LLMアプリケーション評価の効率化

AIアプリケーションの評価は、特に大規模言語モデル（LLM）を判断基準として使用する場合、開発者にとって大きな課題です。評価スコアが人間の期待と一致しないことが多く、ノイズの多い比較や誤ったシグナルへの対応に時間を浪費することになります。この問題に対処するために、LangSmith は Align Evals という新機能を導入しました。この機能は、Eugene Yan 氏の LLM-as-a-judge 評価器構築に関する記事に触発されて開発され、本日より全 LangSmith Cloud ユーザーが利用可能となり、今週後半にはセルフホスト版もリリースされる予定です。

Align Evals の核心は、人間とAIのスコアを比較しながら評価プロンプトを反復的に改善することにあります。ユーザーはまず、アプリケーションの代表的な入力（正しい出力と誤った出力の両方を含む）に対して手動でスコアを付け、「ゴールデンセット」を作成します。次に、LLM評価用のプロンプトを作成し、Playground のようなインターフェースで人間の評価との一致度をテストします。システムはアライメントスコアを表示し、特に乖離の大きいケースを強調表示するため、ユーザーは効率的にプロンプトを調整できます。各変更後にはベースラインスコアが保存され、バージョン間の比較が容易になります。具体的なワークフローは、評価基準の選択、データの選択、手動スコアリング、プロンプトのテストと反復の4つのステップから構成されます。例えば、LLM が特定の回答を過大評価する傾向がある場合、プロンプトにより明確な否定的基準を追加することが推奨されます。

Align Evals はまだ初期段階ですが、今後は評価器のパフォーマンスを経時的に追跡する分析機能や、自動プロンプト最適化機能の追加が計画されています。開発者は LangSmith のドキュメントやビデオチュートリアルを参照してすぐに使い始めることができ、LangChain コミュニティフォーラムでフィードバックを提供することもできます。この新機能により、高品質な LLM-as-a-judge 評価器の構築が大幅に容易になり、LLM アプリケーションの評価プロセスが効率化されることが期待されます。