LangSmith LLM Gateway：エージェントライフサイクルに組み込まれたランタイムガバナンス
LangSmithは、LLM Gatewayのプライベートベータ版を発表。これは、リクエストがモデルに到達する前にコスト制限と機密データ編集を強制し、ポリシーイベントをLangSmithワークスペースに直接統合するランタイムガバナンスレイヤーです。
記事インテリジェンス
要点
- LLM GatewayはエージェントとLLMプロバイダーの間に位置し、リクエストがモデルに到達する前に支出制限とPII編集を強制します。
- ポリシー違反はLangSmith内でトレース可能なイベントとして表示され、ブロックされたリクエストからトリガートレース、修正までシームレスに調査できます。
- セットアップはベースURLをゲートウェイエンドポイントに変更するだけで完了し、プロバイダーキーを追加し、UIでポリシーを設定します。
- 階層的な強制、監査ログ、リアルタイムのコスト可視性、およびLangSmith Engineとの統合を提供します。
重要な理由
このニュースが重要なのは、LLM GatewayはエージェントとLLMプロバイダーの間に位置し、リクエストがモデルに到達する前に支出制限とPII編集を強制しますためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
LangSmithは本日、LLM Gatewayのプライベートベータ版を発表しました。これは、エージェントの構築、観察、評価を行うLangSmith環境に組み込まれたランタイムガバナンスレイヤーです。LLM GatewayはエージェントとLLMプロバイダーの間に位置し、リクエストがモデルに到達する前にコスト制限と機密データ編集を強制します。ポリシーが発動すると、イベントは個別のダッシュボードや監査ログを必要とせずに直接LangSmithに流れ込みます。開発者は、ブロックされたリクエストからそのトリガーとなったトレース、そして修正まで、すべて同じ製品内で行えます。
LLM Gatewayは、観測可能性と強制のギャップを埋めます。たとえば、コーディングエージェントが夜間にリトライループに陥り、朝までに10,000回のLLM呼び出しで4桁の請求書が発生するケースや、カスタマーサポートエージェントが社会保障番号を含む返金リクエストを処理し、その番号がLLMプロバイダーのログやトレースデータ、ダウンストリームシステムに残ってしまうケースなどです。観測可能性は何が起こったかを教えてくれますが、LLM Gatewayは問題が発生する前に防ぎます。
現在のベータ版には以下の機能が含まれます：支出制限（組織、ワークスペース、ユーザー、APIキーレベルで上限を設定し、超過時に402エラーを返す）、リアルタイムのコスト集計、PIIと機密情報の検出（リクエストとレスポンスから機密データを編集）、トレース継続性（ゲートウェイ経由の呼び出しも同じLangSmithワークスペースに表示）、LangSmith Engine統合（ポリシーイベントをトリアージに活用）、監査ログ（すべての管理操作を記録）、階層的な強制。
セットアップは意図的にシンプルです。エージェントのベースURLをLangSmith Gatewayエンドポイントに変更し、LangSmith APIキーを使用します。プロバイダーAPIキーをワークスペースシークレットに追加し、LangSmith UIでポリシーを設定するだけです。コードを変更する必要はありません。
LLM Gatewayはエージェントフレームワーク自体に固定されており、ポリシーイベントがトレース、評価、ダッシュボードと同じワークスペースに流れ込みます。これにより、検出、調査、修正がすべてエージェント構築の同じ表面で行われます。ネットワークレイヤーゲートウェイ、スタンドアロンのガードレールプラットフォーム、データプラットフォームのガバナンスレイヤーとは異なり、LLM Gatewayはエージェントフレームワークに固定されているため、複数のツールを切り替える必要がありません。
今後の計画には、より深いセキュリティ制御（PIIと機密検出を超えたリスクカバー）、柔軟な強制（ソフトリリース、モデルフォールバック、レート制限）、ツールとMCPゲートウェイ（同じ強制プリミティブをツールコール、エージェント間コール、MCPサーバーインタラクションに適用）が含まれます。LLM Gatewayは現在プライベートベータ版で利用可能であり、アクセスをリクエストできます。