將LLM作為評判與人類偏好對齊

LLM（大規模言語モデル）アプリケーションの評価は、パフォーマンスを継続的に改善するために不可欠です。しかし、LLMの出力は自然言語であるため、簡潔さや正確性などの屬性をハードコードされたルールで判斷することは困難です。そこで「LLM-as-a-Judge」という手法が広く使われています。これは、生成された出力を別のLLMに渡し、その品質を評価させる方法です。このアプローチは有用ですが、新たな問題が生じます。すなわち、評価用LLM自體のプロンプトエンジニアリングが必要になるという點です。

LangSmithはこの問題に対する革新的な解決策を提供します。LangSmithの評価器には「自己改善」機能が搭載され、人間による修正を數ショット例として儲存し、將來の評価に活用します。これにより、プロンプトエンジニアリングなしで、ユーザーの嗜好を正確に反映した評価器を構築でき、時間とともに適応していきます。

具體的な仕組みは以下の通りです。まず、ユーザーはLangSmithでオンラインまたはオフラインのLLM-as-a-Judge評価器を簡単に設定します。評価器は生成された出力に対してフィードバックを提供します。ユーザーはそのフィードバックをLangSmithのインターフェース內で直接修正・訂正できます。これらの修正は自動的に數ショット例として儲存され、評価器のプロンプトに組み込まれます。次回の評価実行時には、これらの例が評価の精度向上に寄與します。

この自己改善サイクルにより、LLM-as-a-Judgeは実際のフィードバックに基づいて適応・改善され、手動でのプロンプト調整が不要になります。チームは必要な場合にのみ評価結果を確認・修正すればよく、その入力がシステムのパフォーマンス向上に直接寄與します。

このソリューションは、カリフォルニア大學バークレー校のShreya Shankar氏による「Who Validates the Validators?」という研究にも觸発されています。この研究は、LLM評価を人間の嗜好と整合させる問題に取り組んでおり、LangSmithのアプローチはフィードバック収集を活用して同じ課題を解決します。

結論として、LLM-as-a-Judge評価器は生成AIシステムの評価に強力なツールですが、プロンプトエンジニアリングと人間の嗜好への整合という課題がありました。LangSmithの自己改善評価器は、數ショット學習とユーザー修正を活用することで、手動介入なしに正確で関連性の高い評価を実現します。AIの急速な進歩に伴い、このような自己改善型評価器は、機械の能力と人間の期待のギャップを埋める重要な役割を果たすでしょう。