AIコストを制御する方法

組織内でAIの利用が急速に拡大する中、コスト管理は喫緊の課題となっています。従来のソフトウェアがライセンスやシート単位で課金されるのに対し、AIサービスはトークン単位で課金され、呼び出しのたびにコストが発生します。さらに、購入決定は各開発者に委ねられているため、コスト関連の意思決定の頻度が桁違いに高くなっています。

一つの衝撃的な事例があります。ある企業の従業員向けAIライセンスに使用制限が設定されていなかったため、1か月で約5億ドルものコストが発生したのです。この規模は極端ですが、根本的なパターンは多くの組織で見られます。月額の請求が数百ユーロから数千ユーロに跳ね上がっても、どのサービスやユーザーが原因かを特定できず、アラームも鳴らないのです。

クラウドのFinOpsに精通している人なら、この問題をすぐに認識できるでしょう。コストを押し上げるのは個々の高価なトークンではなく、可視性の欠如と明確な境界の不在です。FinOpsは財務ガバナンスと運用の透明性を結び付け、事業部門、IT、財務が共通のデータに基づいて意思決定できるようにします。AIにも同じロジックが適用され、コストの単位が変わっただけなのです。

朗報は、この透明性を実現するオープンスタンダードがすでに存在することです。OpenTelemetry GenAI Semantic Conventionsは、AIテレメトリの統一語彙を提供し、ベンダーに依存しない方法でAI消費を捕捉し、個々のソースに帰属させることができます。これにより、アトリビューションからアーキテクチャ、継続的コントロールに至るまで一貫したアプローチが可能になります。

AIコストコントロールは全く新しい問題ではありません。粒度がより細かく、速度が格段に速いFinOpsなのです。クラウドでタグ付け戦略を確立している組織は、その考え方を新しいコスト単位に移行するだけで済みます。クラウドFinOpsでは、リソースにコストセンターやチームなどのタグを付けますが、AIでも同じ規律が必要です。今度はタグを各モデル呼び出しに付けるのです。呼び出しの瞬間にアトリビューションを行わないと、後でプロバイダーの集計請求書を分解することはできません。

具体的には、OpenTelemetryのスパンを使用して各モデル呼び出しをラップします。標準化されたgen_ai.*属性に加えて、enduser.idやteam.nameなどのビジネス属性を追加することで、後でユーザーやチームごとにコストを分解できます。重要なのは、このアトリビューションを呼び出し時点で設定することであり、プロバイダーの集計請求書から再構築することはできません。また、純粋なコスト監視にはプロンプトコンテンツは不要で、トークン数やレイテンシなどのメタデータで十分です。

最も実用的なアーキテクチャは、すべてのAIトラフィックの集中通過ポイントであるAIプロキシ（AIゲートウェイ）です。アプリケーションは実際のプロバイダーキーではなく、ユーザーやチームにマッピングされた仮想キーを使用します。これにより、各呼び出しに自動的にアトリビューションが付与され、制限が適用され、テレメトリがエクスポートされます。プロキシは測定と強制を同じコンポーネントで行うため、透明性が月末の事後分析から、各呼び出しの一部へと変わります。さらに、この方法では、以前は制御不能だったシャドーAIも管理下に置くことができます。

制限とガードレールの設定は、コスト爆発を防ぐために不可欠です。実践では明確な成熟度パターンが見られます。チームはまずリクエスト数制限を導入し、最初の驚くような請求書を受け取った後にトークン消費制限を追加し、二度目の後には期間とチームごとのハードバジェットを設定します。これらの制限は複数のレベルで連携します。リクエスト数制限はインフラを保護し、トークンベースの制限は実際の消費を制御し、バジェット制限はバッチ処理やエージェントループによる予期しないスパイクを防ぎます。

例えば、カスタマーサポートチームの仮想キーに対して、1分あたり120リクエスト、20万トークン、月間ソフトリミット5000ユーロ（警告）、ハードリミット6000ユーロ（呼び出し拒否）、コスト速度毎分20ユーロのサーキットブレーカーを設定できます。これにより、暴走するエージェントを数分以内に停止できます。

最終的には、AIコスト管理を組織全体の文化として根付かせることが重要です。可視性、集中制御、適切な制限、継続的最適化、そしてチームのエンパワーメントを通じて、AIの消費を効果的に管理し、財務リスクを回避しながらAIの価値を最大限に活用できるようになります。