LangChainがコーディングエージェントのコストを予測可能にした方法
LangChainはLangSmith LLM Gatewayを内部で活用し、コーディングエージェントのAI支出をリアルタイムで追跡・予算管理することで、コスト暴走を防いでいます。
ここ数年、AI利用のコストは予算で無視できるものでした。LangChainでは、モデル利用は一部のチームに限られ、使用量は予測可能で、毎月の請求額も管理可能でした。しかし、昨年、状況は一変しました。AI利用が一部のチームから全社に広がり、最先端のモデルはより高価になり、エージェントは1つのタスクを完了するために数十回のモデル呼び出しを容易に行えるようになりました。その結果、AI支出は理解もリアルタイムでの制御も難しくなりました。
この問題はエンジニアリング部門で最も顕著でした。コーディングエージェントを多用する1人の開発者が、誰も気づかないうちに週に数千ドルの費用を発生させる可能性がありました。経営陣は、支出をリアルタイムで確認し、チームやユーザーごとに制限を設定し、生産的な作業を妨げずに偶発的な暴走を防ぐ方法を必要としていました。
そこでLangChainは、日常的に使用する製品にLangSmith LLM Gatewayを直接組み込みました。直接の目標は、コーディングエージェントによる偶発的な暴走支出を防ぎ、エンジニアリング担当副社長と財務責任者の両方に安心感をもたらすことでした。LangSmith LLM Gatewayでは、組織全体、ワークスペース、ユーザー、APIキーといった複数の軸で予算を設定できます。全従業員には月次、週次、日次、時間単位のデフォルト予算が設定され、より多くの使用を必要とするプロジェクトに携わる人には例外を認めています。
ゲートウェイは、Claude Code、Codex、LangChain Deep Agentsなどのコーディングエージェントを通じて、全社的に適用されました。対象となるすべてのコーディングエージェントの呼び出しはLLM Gatewayを経由し、エンジニアリングリーダーは全社の支出を分単位で把握できます。また、MDMを通じて集中管理することで、各ユーザーが個別に設定を行う必要がないようにしました。
「Gatewayの利点は、集中管理により、ダッシュボードを開いて驚くような数千ドルの請求書を目にすることがなくなるという確実性です。制限と支出を可視化でき、中央でシャットオフ/制御が可能です。」—Alex Lunev、LangChainエンジニアリング担当副社長
コスト管理をLangSmithスタックの他の部分と接続することで、ゲートウェイは最大限に活用されます。LangSmith LLM GatewayはLangSmithの一部であるため、支出管理は既存のAIアプリケーション管理システムと連携します。ゲートウェイの実行はトレースでき、ユーザーやキーに帰属させ、本番データと一緒に分析できます。つまり、コストデータは月次の請求書に限定されません。特定のエージェント、モデル呼び出し、トレース、障害モードに支出を結びつけることができます。また、LangSmithの既存のOAuth、モデル管理、ユーザー管理機能も利用できるため、スタンドアロンプロキシの周りにこれらのワークフローを再構築する必要はありません。
これにより、ゲートウェイのデータはより実用的になります。コーディングエージェントの支出が予想を超えた場合、トレースを調査し、何が起こったのかを理解し、評価と可観測性データを使用して基礎となるエージェントの動作を改善できます。
内部展開から得た3つの教訓が、製品のその後の方向性を形作りました。第一に、モデルの価格設定は静的な表よりも複雑です。ルックアップテーブルはすぐに時代遅れになるため、正確なコスト計算にはキャッシュ、トークンレベルのニュアンス、頻繁なプロバイダーの価格変更を吸収する必要があります。これにより、モデル価格設定を定数ではなくシステムとして扱うようになりました。第二に、すべてのクライアントがゲートウェイを介してスムーズにルーティングできるわけではなく、サポートの程度はアプリや管理方法によって異なります。そこで、ゲートウェイが捕捉するものと、他のエンタープライズプロバイダー設定（月額Claudeプランなど）が捕捉するものとの差を測定することで、トラフィックがゲートウェイを直接通過できない場合でも支出を計上できるようにしました。第三に、ハードリミットにはワークフローが必要です。エンジニアは、制限に達する前に早期警告と、迅速かつ監査可能な引き上げ経路を求めています。このフィードバックにより、制限は静的なガードレールからワークフローへと変わりました。しきい値の前に段階的なアラートを追加し、予算増加要求のペーパートレイルフローを検討しています。これにより、支出管理はビジネスを保護しつつ、邪魔にならないようにします。
結果として、LangSmith LLM Gatewayを社内で展開して以来、LLMコストは予算内に収まっています。より大きな変化は、支出がもはや月末にしか理解できないものではなくなったことです。エンジニアリングリーダーは使用状況をリアルタイムで確認し、適切なレベルの制限を設定し、チームにコーディングエージェントを使用する柔軟性を与え、驚くような請求書を発生させずに済んでいます。
LangSmith LLM Gatewayは現在プライベートベータ版です。こちらからアクセスをリクエストしてください。