Lyft が LangGraph と LangSmith でセルフサービスの AI エージェントプラットフォームを構築した方法

Lyft は LangGraph と LangSmith を活用し、カスタマーサポート向けのセルフサービス型 AI エージェントプラットフォームを構築しました。このプラットフォームにより、エージェント開発の期間が数ヶ月から数週間に短縮されました。

アーキテクチャの中核は、ルーターベースのマルチエージェントパターンです。メタエージェントがステートフルルーターとして機能し、リクエストを分類して適切な専門サブエージェントにディスパッチします。各サブエージェントは完全な LangGraph StateGraph であり、メタエージェントにサブグラフノードとして登録されています。ライダーとドライバー向けに別々のルーターインスタンスが実行されます。ライダーがサポートに連絡すると、メタエージェントはライダー意図サブエージェントにルーティングし、ドライバーの場合はドライバー意図サブエージェントにルーティングします。会話中にさらに専門的なエージェントが必要と判断された場合、制御はメタエージェントに戻され、適切な専門家に再ルーティングされます。

すべてのサブエージェントは一貫したノードパターンに従い、安全性チェックは LLM 推論より前に並行して実行されます。これにより、モジュール性と独立したデプロイが可能になります。

エージェントは専門エージェント（MLE が手動構築）と設定可能エージェント（セルフサービス層）の2種類に分類されます。設定可能エージェントは実行時に JSON 設定から動的にロードされ、プロンプトは LangSmith の Prompt Hub から取得されます。ドメイン専門家は構造化テンプレートに従ってプロンプトを作成し、ConfigurableAgent クラスがグラフ構築、ツールバインディング、安全ゲート、状態管理を処理します。これにより、プロダクトマネージャーは MLE のコード変更なしに新しいエージェントを定義できます。

状態永続化には DynamoDB ベースのカスタムチェックポイントセーバーを使用し、多ターン会話の状態を保持します。各チェックポイントは完全なグラフ状態と実行メタデータを保存し、会話のリプレイとデバッグを可能にします。

LangSmith はトレーシングとプロダクションモニタリングに使用されます。すべてのエージェント呼び出しがトレースされ、LLM-as-a-Judge 評価パイプラインが自動的に品質を評価します。評価指標にはタスク完了率、安全違反率、応答関連性、顧客満足度が含まれます。各エージェントには専用のモニタリングダッシュボードがあり、実行量、エラー率、レイテンシ、トークン使用量、評価スコアを追跡し、PagerDuty アラートと統合されています。

チームが学んだ最大の教訓は、インフラストラクチャではなくプロンプトの品質がボトルネックであることでした。ドメイン専門家は問題のタイプを深く理解しているが、その知識を LLM が確実に従う指示に変換する方法を知らないことが課題でした。これに対処するため、Lyft は構造化プロンプト作成フレームワークと自動プロンプト検証パイプラインを開発しました。プロンプトテンプレートは5つの必須コンポーネント（アイデンティティ、主目的、スコープ、段階的ワークフロー、コンテンツガイドライン）で構成され、レビューチェックリストと組み合わせて使用されます。

このプラットフォームにより、Lyft はエージェント開発期間を数ヶ月から数週間に短縮し、高い品質基準を維持しています。