CloudflareはAI Gatewayの2つの重要なアップデートを発表しました。アイデンティティ対応AI Gatewayのオープンベータ版と、すべてのAI Gateway顧客に無償で提供されるUser Insightsの一般提供です。これらの機能は、組織がAI使用において直面する重要な課題、つまり誰が何をしているかを把握し、異常な動作を検出することを目的としています。
AI Gatewayは、すべてのAI使用を観察、保護、管理するための中央コントロールプレーンです。開発者やチームがOpenAI、Anthropic、Google、Workers AIなどのモデルを直接呼び出すのではなく、リクエストを最初にAI Gateway経由でルーティングすることで、すべてのAI使用に一貫した可視性と制御を提供します。AI Gatewayは自社開発アプリケーションだけでなく、Claude Code、Codex、GitHub Copilotなどのコーディングツールにも対応しています。
アイデンティティ対応AI Gatewayは、Cloudflare Accessとの統合により、ゲートウェイの前にカスタムドメインを配置し、他のアプリケーションと同様にAccessで保護します。これにより、OktaやEntraなどのSAML対応IDプロバイダーで認証でき、Cloudflare APIキーを生成・受け渡しする必要がなくなります。管理者は誰がゲートウェイにアクセスできるかを正確に制御するポリシーを設定でき、クリーンなホスト名(例:ai.example.com)を使用してリクエストを送信できるため、URLにアカウントIDやゲートウェイIDを含める必要がありません。
認証された各リクエストには、AccessからのユーザーIDが付与されます。AI Gatewayは検証済みのAccessユーザーIDをリクエストメタデータにcf.user_idとして追加するため、実際にリクエストを行った人物ごとにログ、分析、支出をフィルタリングできます。支出制限と組み合わせることで、このIDは予算管理ツールになります。各リクエストに実際のユーザーが紐付くため、ユーザーごとの支出制限を設定できます。各ユーザーに独自の予算バケットを割り当て、上限に達したらリクエストをブロックするか、より安価なモデルにフォールバックします。これにより、予期しない請求や、誰がいくら使ったかを隠す共有APIキーの問題を回避できます。早期導入企業のFlexportはまさにこの問題に直面していました。Cloudflare AccessをAI Gatewayの前に置くことで、各リクエストに認証済みIDが付与され、既存のIDポリシーをゲートウェイで使用できるようになりました。
近い将来、IDプロバイダーのグループを使用して支出制限を設定したり、グループがアクセスできるモデルを制御したりできるようになります。たとえば、機械学習チームにフロンティアモデルへのアクセスを許可し、サポートチームの支出を上限設定し、特定のプロジェクトに取り組む全員に予算を割り当てるなど、既にIDプロバイダーで管理しているグループにマッピングできます。
User InsightsはAI Gateway内の新しいタブで、ゲートウェイを通過するトラフィックを読み取り、各アカウントの行動プロファイルに変換します。各アカウントの通常の行動パターンを学習し、そのパターンから逸脱するアカウントを特定し、異常なエージェントと忙しいエンジニアを区別するためのコンテキストを提供します。この機能はゲートウェイを通過する既存のトラフィックで動作するため、追加設定は不要です。User Insightsはコストを追跡し、キャッシュヒット率の低さや過大なコンテキストウィンドウなどの無駄を特定しますが、他のツールと異なり、アカウントの動作が正常かどうかも管理者に伝えます。
人間であれエージェントであれ、すべてのアカウントは時間の経過とともに行動指紋を残します。3時間ごとにチケットを要約するエージェントは緊密で一貫していますが、人間はより雑で、プロンプトは多様で、タイミングは不規則で、難しい問題には長いセッションを費やします。どちらも正当な行動であるため、同じ偏差が一方にはノイズ、他方には真のシグナルとなり得ます。User Insightsはまず、個々のリクエストではなくセッションをスコアリングします。絶対的な閾値はここでは機能しません。ヘビーユーザーの500ドルの急増は正常かもしれませんが、常に5ドルを費やすエージェントの50ドルのセッションは10倍の変化であり、見逃される可能性があります。そこで、各セッションをアカウント自身の履歴と比較し、過去30日間の95パーセンタイル(p95)セッションコストをベースラインとして使用します。このp95の2倍を超えるセッションは、異常行動の強い候補と見なされます。
絶対的な金額の下限を設定するために、組織全体のすべてのセッションコストの分布も分析します。ほとんどのセッションは10ドル未満で、95パーセンタイルは20ドル、アカウントp99は200ドルです。全セッションの1%のみが200ドル以上です。したがって、絶対的な金額上限をアカウントp99に設定することで、異常が特定のユーザーの突然の変化であるだけでなく、組織全体で最も高価な1%のセッションにランクインすることを保証します。ベースラインは静的ではありません。アカウントの習慣が変化すると、ローリングp95と2倍の閾値も移動するため、アラートは常に最近の動作を反映します。また、金額の下限を適用することで、異常が統計的に珍しいだけでなく、管理者が調査する価値があることを保証します。この下限により、マイクロユーザーの数セントの500倍の変動がアラートを発することはありません。
最終的に、管理者は正常な動作がフィルタリングされた、自身のパターンを破ったアカウントのビューを目にします。これが異常行動フィードです。この動作は、新しいツールやブロックされたアクションではなく、信頼されたアカウントが既に許可されていることをより多く行っているため、発見が困難です。サービスアカウントが突然より高価なセッションを実行し始めたり、人間の使用量が自身の規範をはるかに超えて数日間続いたりする可能性があります。これらはポリシーに違反しませんが、行動ベースラインを破ります。アカウント自身の使用状況からの突然の逸脱は、認証情報の侵害やエージェントの暴走の最初の観察可能な兆候であることがよくあります。User Insightsは意図を決定せず、誰もブロックしません。代わりに、異常な動作を開始した少数のアカウントを管理者の前に提示し、次の質問をできるようにします。時にはそれが実際の調査につながり、時にはコーチングが必要なだけであることを意味します(例えば、スニペットで十分なのに毎回プロンプトにコードベース全体を投入する開発者など)。
今後、Cloudflareはコスト管理からコスト最適化への移行を支援する計画です。予算を設定した後、自然な次の質問は、同等の出力品質を低コストで得る方法です。すべてのリクエストにフロンティアモデルが必要なわけではありません。要約タスクや単純なコード補完は、品質を大きく損なうことなく安価なモデルで実行できます。Cloudflareはタスクベースのスマートルーティングを構築中です。AI Gatewayが受信リクエストを分析し、最低コストで最高の結果を提供するモデルにルーティングします。組織レベルでは、より効率的なモデルにルーティングすることで最大の節約が可能な場所を確認できるようになります。タスクベースのスマートルーティングは活発に開発中です。
さらに、CloudflareはAIがどのように使用されているかを理解する支援も計画しています。異常検出はアカウントがパターンを破ったことを伝えますが、理由は伝えません。管理者は依然としてログを調査し、何が起こったかを突き止める必要があります。このギャップを埋めることが次の焦点であり、まずトラフィックを分類することから始まります。Cloudflareはプロンプト分類を構築中で、リクエストをコーディング、ライティングなどのカテゴリに分類します。これらのカテゴリは、他のほとんどすべてのシグナルに欠けているコンテキストです。エンジニアの「コーディング」カテゴリでの支出急増は許容されるかもしれませんが、そのアカウントがこれまで触れたことのないカテゴリでの同じ急増は許容されません。分類により、組織がAIをどれだけ使用しているかだけでなく、何に使用しているかも示すことができます。また、ほとんどの会話の根底にある質問、つまりAIが意図された作業に使用されているかどうかにも答えます。ビジネストラフィックが他のものから分離されると、個人使用が可視化されます。外部からは、会社の時間に副業をしている人と、モデルを通じて静かにデータを移動している人は同じに見えます。それらを区別することは、内部リスクを捉える上で中心的な役割を果たします。AIトラフィックがAI Gatewayを通過すると、新しいリスクや効率シグナルのカテゴリごとに、管理者が追加設定なしで得られる機能が増えます。
User Insightsは本日より、すべてのAI Gateway顧客に無償で提供されます。ゲートウェイを通過するトラフィックを送信しているユーザーは、ダッシュボードでこのビューを利用できます。まだ使用していない場合は、ゲートウェイを作成し、カタログ内の任意のモデルにリクエストを送信することをお勧めします。Cloudflareはまた、AI GatewayをCloudflare Access(現在オープンベータ)の背後に置くことを推奨しています。支出と異常のビューはAccessなしでも機能しますが、IDを付加することで、匿名のアカウントIDを実際に行動できる名前に変えることができます。何かを強制する前に、監視モードで開始してベースラインを学習することをお勧めします。