LangSmithは2025年7月29日、LLM評価器を人間の好みに合わせて調整する新機能「Align Evals」を発表しました。この機能は現在、すべてのLangSmith Cloudユーザーが利用可能で、セルフホスト版は今週後半にリリースされる予定です。
評価は、単一のプロンプトから複雑なエージェントまで、LLMアプリケーションを改善するための重要な手法です。モデルの比較、ロジックの更新、アーキテクチャの反復において、評価は出力をスコアリングし、変更の影響を理解するための信頼できる方法です。しかし、チームからよく聞かれる課題は、「評価スコアがチームの人間が期待するものと一致しない」というものです。この不一致はノイズの多い比較を生み、誤ったシグナルを追いかける時間の浪費につながります。Align Evalsはこの問題を解決するために設計され、Eugene Yan氏のLLM-as-a-judge評価器の構築に関する記事に触発されています。
これまで、評価器の反復改善には多くの推測が伴いました。評価器の動作の傾向や不一致を特定するのは難しく、評価プロンプトを変更した後、どのデータポイントがスコアの変化を引き起こしたのか、その理由も不明確でした。Align Evalsは、評価プロンプトを反復改善し、評価者の「アラインメントスコア」を確認できるプレイグラウンド風のインターフェース、人間の評価データとLLMが生成したスコアを並べて比較し、「未調整」のケースを特定するためのソート機能、そして最新の変更を以前のバージョンのプロンプトと比較するための保存済みベースラインアラインメントスコアを提供します。
アラインメントのフローは4つのステップで構成されます。まず、評価基準を選択します。評価基準には、アプリケーションがうまく行うべきことが含まれるべきです。たとえば、チャットアプリの場合、正確性は重要ですが、簡潔さも同様に重要です。次に、人間によるレビューのためのデータを選択します。アプリが実際に生成する出力の範囲をカバーする代表的な例を作成します。良い例と悪い例の両方を含めることが重要です。第三に、データを期待スコアで評価します。各評価基準について、各例に手動でスコアを割り当てます。これらのスコアは「ゴールデンセット」となり、評価者の応答を判断するためのベンチマークとして機能します。第四に、評価プロンプトを作成し、人間の評価に対してテストします。初期プロンプトを作成し、アラインメント結果を使用して反復改善します。たとえば、LLMが特定の応答に一貫して過大評価する場合、より明確な否定的基準を追加してみてください。評価スコアの改善は反復プロセスであり、ベストプラクティスの詳細はドキュメントで確認できます。
今後、LangSmithは評価者のパフォーマンスの経時的な変化を追跡するための分析機能や、プロンプトのバリエーションを自動生成する自動プロンプト最適化を計画しています。開発者はドキュメントやビデオチュートリアルを通じて開始でき、LangChainコミュニティフォーラムでフィードバックを提供できます。