メモリ検索の改善：New ComputerがLangSmithで50%の再現率向上を達成

New Computerは、初の個人用AI「Dot」を開発したチームです。Dotはユーザーを真に理解するように設計されており、長期的な記憶システムが言語や行動の手がかりを観察してユーザーの好みを学習します。Dotの記憶システムは単なる想起を超え、ユーザーのイメージを絶えず進化させ、タイムリーでパーソナライズされた支援を提供し、真の理解を感じさせます。

LangSmithを活用することで、New Computerは記憶検索システムをテスト・改善し、従来の動的記憶検索ベースラインと比較して再現率50%向上、精度40%向上を達成しました。

Dotのエージェント型記憶の概要

New Computerチームは、革新的で初のエージェント型記憶システムを構築しました。静的なドキュメントセットに依存する標準的なRAG手法とは異なり、エージェント型記憶は後で検索されるドキュメントを動的に作成または事前計算します。つまり、記憶作成時に情報を構造化して検索を可能にし、記憶が蓄積されるにつれて正確かつ効率的にする必要があります。

生のコンテンツに加えて、Dotの記憶には検索に役立つオプションの「メタフィールド」があります。ステータス（例：完了、進行中）や日時のフィールド（開始日、期限）などが含まれます。これらは「今週やりたかったタスクは？」や「今日やるべきことは？」といった高頻度クエリの追加フィルターとして使用できます。

LangSmithによる記憶検索の改善

多様な検索手法（セマンティック、キーワード、BM25、メタフィールドフィルター技術の1つまたは複数）を採用していたため、New Computerはラベル付きサンプルのデータセットで迅速に反復する新しい方法を必要としていました。ユーザープライバシーを保護しながらパフォーマンスをテストするため、LLMで生成したバックストーリーを持つ合成ユーザーのコホートを作成し、合成データを生成しました。各合成ユーザーの記憶データベースを初期化するための初期会話の後、チームはクエリ（合成ユーザーによるメッセージ）と利用可能な全記憶をLangSmithデータセットに保存し始めました。

社内ツールをLangSmithに接続して使用し、New Computerチームは各クエリに関連する記憶をラベル付けし、精度、再現率、F1などの評価指標を定義し、エージェント型記憶システムの検索改善を迅速に反復できるようにしました。

この一連の実験では、クエリごとに固定数の最も関連性の高い記憶を検索するセマンティック検索を用いたシンプルなベースラインシステムから開始しました。その後、異なるクエリタイプでのパフォーマンスを評価するために他の手法をテストしました。類似検索やBM25などのキーワード手法が有効な場合もあれば、効果的に実行するためにメタフィールドによる事前フィルタリングが必要な場合もありました。

想像されるように、これらの複数の手法を並行して実行すると実験の組み合わせ爆発が発生する可能性があります。したがって、多様なデータセットで異なる手法を迅速に検証することが進歩に不可欠です。LangSmithの使いやすいSDKと実験UIにより、New Computerはこれらの実験を迅速かつ効率的に実行、評価、結果の検査が可能になりました。

これらの実験により、New Computerは記憶システムを大幅に改善し、従来の動的記憶検索ベースラインと比較して再現率50%向上、精度40%向上を達成しました。

LangSmithによる会話プロンプトの調整

Dotの応答は動的な会話プロンプトによって生成されます。つまり、関連する記憶を含めるだけでなく、ツールの使用（検索結果など）や高度に文脈化された行動指示にも依存して、正確かつ自然な方法で応答します。

このような可変性の高いシステムの開発は困難で、あるクエリを改善する変更が他のクエリに悪影響を及ぼす可能性があります。

プロンプトを最適化するため、New Computerチームは再び合成ユーザーのコホートを使用して、幅広い意図のユーザークエリを生成しました。そして、LangSmithの実験比較ビューでプロンプト変更の全体的な影響を簡単に検査し、プロンプト変更に起因する後退した実行を視覚的に特定できました。

さらに、出力が不正確な失敗ケースでは、チームはLangSmith UIを離れることなく、内蔵のプロンプトプレイグラウンドを使用してプロンプトを直接調整できました。これにより、会話プロンプトの評価と調整における反復速度が大幅に向上しました。

New Computerの今後

New Computerは人間とAIの関係を深めることを推進しており、ユーザーが真に認識され理解されていると感じられる方法を常に模索しています。これには、ユーザーの会話や口調の好みにDotが適応すること、またはカスタマイズされたメッセージでユーザーに積極的に連絡することで、ユーザーごとに完全に特化したものになることが含まれます。

最近のローンチにより新たなユーザーの波が押し寄せ、その45%以上が無料メッセージ制限に達した後、アプリの有料ティアに移行しました。これらのユーザーは、Dotが時間とともに成長し進化することを期待しています。New ComputerとLangChainチームのパートナーシップ、およびLangSmithの使用は、人間のユーザーとの関係を深める複雑さをシミュレートするために、新しいAI素材を活用する上で引き続き重要な役割を果たすでしょう。