Databricks は、本番環境で AI エージェントを構築、評価、ガバナンス、改善するための実践的なガイドである『AgentOps の大全』の発表を発表しました。生成 AI が実験からエンタープライズへと急速に移行する中、チームは有望なパイロットを依存できるシステムに変えるという課題に直面しています。この本は、アーキテクチャ、評価、可観測性、コスト管理、関係者調整の青写真を提供し、信頼できるエージェントシステムの構築を支援します。
AgentOps とは何か？ AgentOps は、本番環境で AI エージェントを構築、デプロイ、改善するための運用規律です。アーキテクチャ、評価、可観測性、ガバナンス、セキュリティ、コスト管理を、チームが繰り返し実行できるプロセスに統合します。単なるモデル応答とは異なり、AI エージェントは実行時にツールを選択し、エンタープライズデータを取得し、API を呼び出し、多段階のタスクを自律的に実行できます。しかし、これらの能力は、誤ったツール呼び出し、過度に広い権限、計画外のコスト急増など、新たなリスクポイントも生み出します。AgentOps の目的は、この複雑さを管理し、それが責任にならないようにすることです。
なぜ AI エージェントに AgentOps が必要なのか？ 生成 AI は、これまでの技術の波よりも速くエンタープライズに浸透しています。多くのチームは、パイロットを本番に移行する際に、同じ運用上の質問に直面します。エージェントはこのタスクに対して正しい結果を生成しているか？ 使用したツールやデータを含め、エージェントが何をしたかを追跡できるか？ 機密データや操作へのアクセスをどのように制御するか？ 複数のモデル呼び出し、再試行、ガードレールチェックが発生すると、リクエストのコストはいくらになるか？ エージェントを出荷する準備ができていると誰が判断するのか、そして稼働後は誰が監視するのか？ これらの質問に答えるには、モデルを超えた運用フレームワークが必要です。
この進化は、MLOps と LLMOps の発展に似ています。MLOps は、機械学習モデルをノートブックから本番に移すにつれて成熟しました。LLMOps は、プロンプトとモデルのバージョン管理、分散サービング、コスト制御の実践を追加しました。AgentOps は次の層であり、推論、ツール使用、自律的な行動を行うシステムにこれらの規律を拡張します。本番エージェントには、ツールが触れることのできる明確な境界、多段階実行のトレーサブルな記録、品質を測定する方法、障害が発生した場合の計画、そしてエンジニアリング、製品、セキュリティ、コンプライアンス、財務の間の十分な調整が必要です。
顧客体験がこれを裏付けています。FactSet のテキストからコードへの知識エージェントは、単一の基盤モデルから完全なエージェントシステムへと進化し、精度が 44% 向上しました。『AgentOps の大全』は、エンタープライズチームがそのような移行を達成するのに役立つ実践を体系化しています。アーキテクチャパターン、段階的なデリバリーパイプライン、評価とフィードバックループ、ガバナンス、コスト管理、そしてエージェントが実際に本番に到達するかどうかを決定する利害関係者の決定などです。
『AgentOps の大全』の内容：この本は、6 つの章にわたってコンセプトから実装へと進みます。第 1 章では、AI エージェントアーキテクチャを紹介し、エージェントが単なるプロンプトと応答の LLM 呼び出しとは異なることを強調しています。ロギング、評価ゲート、ガバナンス、ロールバック、モニタリングはすべて重要ですが、要件は 4 つのエージェントアーキテクチャによって異なります。この本は、各アーキテクチャとそれに対応する運用要件を概説しています。また、パイロットの出荷を妨げるアンチパターン、例えば、広すぎるユースケースから始める、複雑さが正当化される前にマルチエージェントオーケストレーションに手を伸ばす、不必要な推論ループ、評価を遅らせることなどを共有しています。第 2 章では、デプロイアーキテクチャパターンについて説明します。シンプルなものから複雑なものまで、ユースケースと組織のニーズに応じて異なります。単一の Databricks ワークスペースからのデプロイから、複数アカウント、複数エージェントのエンタープライズトポロジまでの 4 つのパターンをカバーし、ニーズの変化に応じてパターンを選択し進化させるためのガイダンスを提供します。各段階で、Unity Catalog、Unity Gateway、MLflow がアーキテクチャを支える中核となります。第 3 章では、AgentOps プロジェクトライフサイクルを紹介します。チームの形成、ユースケースの選択から、データインフラストラクチャのセットアップ、評価ループ、ガバナンスのベストプラクティスまでの 7 つのフェーズからなるロードマップです。各フェーズの重要な注意点を強調しています。例えば、コストはライフサイクルの重要な部分です。単一のユーザーリクエストは、サブエージェント、再試行、ガードレールチェックを考慮すると、複数のモデル呼び出しをトリガーする可能性があります。そのため、使用量の属性を設定し、制限を設定し、支出に対する明確な説明責任を確立することが重要です。第 4 章では、DevOps 原則を AI エージェントに適用します。チームは高品質なエージェントを開発するために迅速に反復する必要があります。また、研究の最前線での開発や組織のニーズの変化に応じてエージェントを進化させる必要があります。これに対処するため、『DevOps ハンドブック』から得たフロー、フィードバック、継続的学習の原則が、AI エージェントシステムを運用するための有用な基盤を提供することを強調しています。これらの原則をエージェントシステムに適用するには、実際のトレースからゴールデン評価データセットを構築し、主題専門家のフィードバックに対して自動ジャッジを調整し、評価結果を次の開発の推進に使用します。顧客の電子メールエージェントの実際の例では、人間によるレビュー、モデルベースのジャッジ、ルールベースのチェックが連携し、すべてのリリースを手動監査に変えることなく機能することを示しています。第 5 章では、AI エージェントを運用化する方法を紹介します。6 つのステップからなる計画シーケンスは、チームが実装するのに役立ちます。