LangSmith LLM Gateway：本番環境のエージェント向けランタイム制御

LangSmith LLM Gateway：本番環境のエージェント向けランタイム制御

2026年7月30日

主なポイント

• ベンダーロックインを回避―クローズドモデルとオープンウェイトモデルの両方を一つのゲートウェイで管理、集中制御、プロバイダーの柔軟な変更が可能。
• コストと信頼性をランタイムで制御―支出とレート制限の設定、使用状況の追跡、任意のモデル、プロバイダー、ホストでのフォールバック構成。
• 機密データを編集して保護―PIIや機密情報をモデル呼び出しから編集し、モデルプロバイダーへの送信を防止。

LangSmith LLM Gatewayがパブリックベータ版として利用可能になりました。

本番環境のエージェントは、コスト超過や停止などの望ましくない結果を避けるために、モデル呼び出しに対するランタイム制御を必要とします。支出上限、レート制限、モデルのフォールバック、機密データ保護はすべて重要な制御ですが、適切なツールがなければ、エンジニアは各エージェント内でこれらの制御を手動で記述しなければなりません。

そこで私たちはLangSmith LLM Gatewayを構築しました。これはエージェントと呼び出すモデルの間に位置する集中管理レイヤーであり、エンジニアリングチームが本番環境で必要とする制御のために特別に設計されています。LLM Gatewayは、エージェント、モデル、プロバイダー間でランタイム制御を適用するための一元化された場所を提供し、ベンダーロックインを回避しながらモデル使用を一貫して管理するのに役立ちます。

今すぐパブリックベータ版をお試しください

なぜエージェントに集中管理レイヤーが必要か

本番環境では、モデルレイヤーが高コストなミスや顧客向けの障害の原因になりがちです。実際の例：モデルプロバイダーが停止し、カスタマーサービスエージェントがエラーを返し、顧客の不満と収益の損失を招く。あるいは、コード生成エージェントが一晩中リトライループに陥り、朝までに10,000回のLLM呼び出しが発生し、4桁の請求書が届く。

このような場合、事後に何が起こったかを理解するだけでは不十分です。違反が発生する前にポリシーを適用する必要があります。しかし、制御が各エージェントのコードに埋め込まれている場合、新しいエージェントやモデルプロバイダーが追加されるたびに、保守すべき実装パスが増えます。モデルゲートウェイを使用すると、チームはポリシーを一度定義し、モデルとエージェント間で一貫して適用できます。

LLM Gatewayの制御機能

LLM Gatewayは、エージェントが本番稼働する際にチームが最初に必要とする制御（コスト制御、レート制限、モデルのフォールバック、機密データの取り扱い）を提供します。

コスト超過の防止：LLM Gatewayを使用すると、内部ユーザーと外部ユーザーのLLM支出を問題になる前に監視および制御できます。時間制限のある上限を設定し、4つのレベルで支出を追跡できます。

• 組織レベル―全社的な制御
• ワークスペースレベル―チームを支出制限内に維持
• APIキーレベル―特定のプロジェクトの支出制御に便利
• ユーザーレベル―個人の支出制御

上限に達すると、エージェントは明確なエラーを含む402応答を受け取ります。

暴走トラフィックの制限：組織、ワークスペース、ユーザー、APIキーレベルでレート制限を適用し、偶発的な乱用やトラフィックスパイクがプロバイダーの制限を超え、他のエージェントやチームの信頼性を低下させるのを防ぎます。

顧客ごとの支出およびレート制限ポリシー：マルチテナント環境やリセラー向けに、LLM Gatewayは顧客固有のAPIキーを必要とせずに顧客レベルの制御を提供します。カスタムリクエストヘッダーを使用して各エンドカスタマーやチームを識別し、個別の支出上限とレート制限を適用しながら、すべてのLLM呼び出しを1つのAPIキーを介してルーティングします。制限の更新や顧客ごとの支出の確認を一箇所で行えるため、自分でロジックを構築して保守する必要はありません。

エージェントの信頼性向上：モデルとホスト間でフォールバックルールを定義し、すべてのアプリケーションに適用します。プロバイダーがダウンしたり、レート制限がかかったり、利用不可になった場合、エージェントは各アプリケーションにカスタムフォールバックロジックを記述することなく、別のモデルにルーティングできます。

機密データの露出を低減：リクエストがモデルプロバイダーに到達する前に、PIIや機密情報を検出、編集、置換します。LLM Gatewayはまた、LangSmithに記録するトレースから機密データを編集します。現在、この機能はEnterpriseプランユーザーのみ利用可能です。

LangSmithでのLLM Gatewayイベントのトレース：ゲートウェイイベントはLangSmithトレースにメタデータとして記録されるため、制御が本番トラフィックでどのように動作するかを監視できます。支出制限、レート制限、その他の制御によってリクエストがブロックされた場合、トレースを開いてコンテキストで何が起こったかを検査し、変更が必要かどうかを判断できます。

モデル選択の維持

LLM Gatewayは、エージェントとモデルプロバイダー間の呼び出しをルーティングするための単一インターフェースを提供します。OpenAI、Anthropic、Fireworksなどの一般的なプロバイダーや、OpenAIまたはAnthropic互換のエンドポイントを備えたカスタムモデルをサポートしています。

LangSmith GatewayはBYOKファーストです。独自のプロバイダーキーを持ち込み、LLM Gatewayをルーティング、ガバナンス、ポリシー制御に使用でき、すべてのLLM呼び出しに追加の計装を追加する必要はありません。調達を簡素化したり、エージェントの構築を迅速に開始したいチームのために、GatewayはFireworksが提供するオープンモデルのホスト型推論もサポートしており、Gateway Creditsを使用してLangSmithから直接利用できます。Fireworksはオープンモデル向けの高速で効率的な推論を提供し、チームがLangSmith LLM Gatewayを通じてそれらを本番環境に導入できるよう支援します。

私たちは、オープンウェイトモデルが重要だと考えています。なぜなら、それらはチームにAIシステムに対するより多くの制御を与えるからです。コスト、品質、レイテンシー、プライバシー、デプロイメント要件を最適化する柔軟性を提供し、ビジネスの詳細に合わせてモデルを調整できます。Gatewayは、オープンモデルを本番環境で採用しやすくする方法の1つです。

「オープンモデルは、本番AIに必要なパフォーマンスをすでに提供しています。次のステップは、コスト、レイテンシー、ガバナンスを制御する必要があるエージェントワークフローでそれらを採用しやすくすることです。Fireworksはオープンモデルの推論を高速、効率的、かつスケーラブルに信頼性高く提供し、LangChainと協力してLangSmith LLM Gatewayを提供できることを嬉しく思います。これにより、チームがそのパフォーマンスを本番環境に導入できるようになります。」 — Lin Qiao、Fireworks CEO

チームによるLLM Gatewayの本番活用例

チームはすでにLLM Gatewayを使用して、本番エージェントにハードリミットと共有制御を設定しています。一般的なパターンとしては、支出上限が必要な公開エージェントや、集中型の請求、使用状況追跡、顧客ごとの制限が必要なマルチカスタマーエージェントがあります。

「LLM Gatewayは、Deep Agentsの請求とコスト追跡を一元化し、各顧客の使用状況と制限を把握できるようにしてくれました。統合は簡単で、エージェントを拡張するために必要な可観測性が得られました。」 — Sean Rich、Blueberry AI共同創業者兼CTO

「すべての本番エージェント、特に公開エージェントにはハードな支出上限が必要です。LLM Gatewayは、コストが設定した制限を超えないようにすることで、そのリスクを取り除いてくれます。今では顧客と一緒に座って、支出とそれがサポートするポリシーについて合意し、数回のクリックですべてを設定できます。」 — Hylke Sybesma、Friday Digital Agency AIエンジニア

LLM Gatewayの始め方

LLM GatewayはAPIを介して直接呼び出すことも、Claude Code、Codex、Deep Agents Code（dcode）などのコーディングハーネスと一緒に使用することもできます。

始めるには、エージェントをLangSmith Gatewayエンドポイントに向け、LangSmith APIキーで認証し、プロバイダーAPIキーをワークスペースシークレットに追加します。次に、フォールバック、レート制限、支出制限、機密データ処理の制御を構成します。base_urlを更新し、コードの残りの部分はそのままにします。

LLM Gatewayの今後の展開

私たちは、チームがエージェントを本番環境に導入する際に最も必要とする制御からLLM Gatewayを開始しました。次に、本番環境でのモデル呼び出しをガバナンスする方法をさらに拡張していきます。

より広範なガードレール―エージェントが外部モデルを呼び出し、本番システムと対話することに伴うリスクに対するより広範なカバレッジ。

CI/CD制御―プロンプトとコンテキストをデプロイし、A/Bテストを実行し、ブルーグリーンデプロイメントとシャドウデプロイメントを管理し、Infrastructure-as-Codeで制御を定義するためのツール。

今すぐ試す

LLM Gatewayは、PlusおよびEnterpriseプランでパブリックベータ版として利用可能です。

LangSmithにログインするかサインアップして、サイドバーから「LLM Gateway」を選択すると開始できます。セットアップの詳細はドキュメントをご覧ください。

Enterpriseプランユーザーは、こちらからデータ保護制御へのアクセスをリクエストできます。

エージェントの実際の動作を確認

エージェントエンジニアリングプラットフォームであるLangSmithは、開発者がエージェントの各決定をデバッグし、変更を評価し、ワンクリックでデプロイするのに役立ちます。

LangSmithを試す

デモを依頼する