将LLM作为评判与人类偏好对齐

LLM（大規模言語モデル）アプリケーションの評価は、パフォーマンスを継続的に改善するために不可欠です。しかし、LLMの出力は自然言語であるため、簡潔さや正確性などの属性をハードコードされたルールで判断することは困難です。そこで「LLM-as-a-Judge」という手法が広く使われています。これは、生成された出力を別のLLMに渡し、その品質を評価させる方法です。このアプローチは有用ですが、新たな問題が生じます。すなわち、評価用LLM自体のプロンプトエンジニアリングが必要になるという点です。

LangSmithはこの問題に対する革新的な解決策を提供します。LangSmithの評価器には「自己改善」機能が搭載され、人間による修正を数ショット例として保存し、将来の評価に活用します。これにより、プロンプトエンジニアリングなしで、ユーザーの嗜好を正確に反映した評価器を構築でき、時間とともに適応していきます。

具体的な仕組みは以下の通りです。まず、ユーザーはLangSmithでオンラインまたはオフラインのLLM-as-a-Judge評価器を簡単に設定します。評価器は生成された出力に対してフィードバックを提供します。ユーザーはそのフィードバックをLangSmithのインターフェース内で直接修正・訂正できます。これらの修正は自動的に数ショット例として保存され、評価器のプロンプトに組み込まれます。次回の評価実行時には、これらの例が評価の精度向上に寄与します。

この自己改善サイクルにより、LLM-as-a-Judgeは実際のフィードバックに基づいて適応・改善され、手動でのプロンプト調整が不要になります。チームは必要な場合にのみ評価結果を確認・修正すればよく、その入力がシステムのパフォーマンス向上に直接寄与します。

このソリューションは、カリフォルニア大学バークレー校のShreya Shankar氏による「Who Validates the Validators?」という研究にも触発されています。この研究は、LLM評価を人間の嗜好と整合させる問題に取り組んでおり、LangSmithのアプローチはフィードバック収集を活用して同じ課題を解決します。

結論として、LLM-as-a-Judge評価器は生成AIシステムの評価に強力なツールですが、プロンプトエンジニアリングと人間の嗜好への整合という課題がありました。LangSmithの自己改善評価器は、数ショット学習とユーザー修正を活用することで、手動介入なしに正確で関連性の高い評価を実現します。AIの急速な進歩に伴い、このような自己改善型評価器は、機械の能力と人間の期待のギャップを埋める重要な役割を果たすでしょう。