LangSmithは、LLMアプリケーションをプロトタイプから本番環境へと導くための開発者プラットフォームです。このたび、データアノテーションキュー(Data Annotation Queues)機能を発表しました。現在ベータ版として提供されており、公式リンクからサインアップできます。
LLMアプリケーションを本番環境に移行する際の大きな障壁の一つは、アプリケーションのパフォーマンスを向上させ、信頼性を高めることです。そのための方法はいくつかありますが、最も基本的なのはデータを注意深く観察し、チェーンがどこでうまく機能していないかを直感的に理解することです。OpenAIのJason Wei氏は、優れたAI研究者は大量のデータを手動で検査することを厭わず、そのプロセスを迅速化するインフラを構築していると指摘しています。一見地味な作業ですが、手動でのデータ検査は問題に対する貴重な直感をもたらします。
さらに、テストケースのデータセットを用意し、チェーンを実行してパフォーマンスを測定することも有効です。次に、few-shotプロンプティングを用いたインコンテキスト学習や、モデルのファインチューニングといった高度な手法があります。しかし、これらの手法はいずれもアプリケーション固有のデータポイントを必要とします。LLMの利点は、従来の機械学習と比べてアプリケーション開発の敷居が低いことですが、その反面、深く最適化しようとするとデータ不足という課題に直面します。
こうした問題を解決するためにリリースされたのが、データアノテーションキューです。これは、ログのレビュー、フィードバックの提供、ログからのデータセット作成を容易にするUXを提供します。具体的には、ログページからデータポイントをアノテーションキューに追加するアクションが可能です。例えば、ユーザーから否定的なフィードバックを受けたデータポイントをフィルタリングし、キューに追加して集中的に調査できます。キュー内の各データポイントは、正しいか間違っているかをマークしたり、データセットに追加して下流で利用したりできます。
同時に、LangChainはHamel Husain氏によるオープンソースパッケージ「langfree」も紹介しています。これはローカル環境で同様の機能の一部を実現するもので、開発者はクラウドとローカルのツールを柔軟に選択できます。
データアノテーションキューの提供は、LangSmithがLLMアプリケーション開発の全プロセスを支援する姿勢を示しています。ログのレビューからデータセット構築、モデル最適化まで、この機能は開発者がアプリケーションの品質を効率的に向上させ、プロトタイプから本番環境への移行期間を短縮するのに役立つでしょう。現在ベータ版として提供されており、関心のある開発者はサインアップしてフィードバックを提供できます。