すべての顧客が最終的に尋ねるのは「AIエージェントを大規模に本番運用するにはどうすればよいか」という問いです。この問いにはいくつかの課題が伴います。数千の同時ユーザーリクエストを安全かつ確実に処理するにはどうすればよいか。実際のトラフィック下でエージェントがサイレント障害を起こさず信頼性を維持するにはどうすればよいか。テスト時に合格した品質・安全基準をエージェントが依然として満たしているかをどう確認するか。エージェントセキュリティのベストプラクティスは何か。決定論的であるべきか非決定論的であるべきか。その他多数の問いです。概念実証はこれらの問いに答えられません。なぜなら、それはエージェントモデルがタスクを実行できることを示すために構築されており、本番トラフィック、コスト圧力、セキュリティレビューに耐えるためではないからです。
動作するプロトタイプから、大規模に信頼性高く、安全で、無駄がなく、責任ある方法で運用されるシステムへのギャップは、ほとんどのエージェンティックAIイニシアチブが停滞する場所であり、それはまれにモデル自体の問題ではありません。エージェントを構築する各チームは、同じ足場をゼロから再構築する傾向があります。独自のルーティングロジック、独自のガードレール、独自の可観測性を、最初から組み込むのではなく事後に適用します。チームには、すべてのエージェントがその上に構築できる共有の本番対応アーキテクチャが必要です。
本記事では、マルチエージェントAIアプリケーションをプロトタイプから本番規模へ移行するために設計された7層の構成可能なリファレンスアーキテクチャを説明します。
構成可能なアーキテクチャ
プラガブル・エージェンティックAIフレームワークは、マルチエージェントアプリケーション向けのリファレンスアーキテクチャであり、7つの層に組織化され、各層には明確な責任と安定した契約があります。各層に示されるサービスと技術はリファレンス実装を反映しており、必須の選択肢ではありません。組織は既存のインフラストラクチャと要件に合わせて代替手段を選択できます。これらの層は共に、本番規模でエージェンティックAIアプリケーションを構築、保護、運用するための青写真を提供します。
図1:プラガブル・エージェンティックAIフレームワークの7つの層
データと知識はエージェンティックAIの基盤です。エージェントの能力はアクセスできるデータに依存します。エージェントが医療処方集を確認する場合でも、在庫を追跡する場合でも、コンプライアンスルールを解釈する場合でも、正しく答えるには関連性のある最新情報が必要です。この層は、明確な契約とプロトコルを通じて検索、埋め込み、構造化・非構造化データへのアクセスを担います。クエリを受け取り、エージェントのコンテキストとして最も関連性の高い情報を返します。Amazon Bedrock Knowledge Base、Amazon OpenSearch ServerlessのVector Engine、Amazon S3 Vectors、Amazon DynamoDBがこの基盤の例示的な構成要素です。
モデルと推論の選択は、エージェントやアプリケーションロジックにハードコードするのではなく、構成によって駆動されるべきです。単純なタスクにはより小さく高速なモデルを使用し、より繊細な推論を必要とするリクエストにはより大きなモデルを使用します。構築するユースケースに対して、現実的で代表的なビジネスデータを用いた徹底的なモデル評価を行うことが重要です。モデルルーティング層は、一貫したリクエスト・レスポンス契約に依存することで、AIエージェントをモデルホスティング環境やプロバイダー固有のAPIから分離します。LiteLLMのようなプロキシはプロバイダー間の共通インターフェースを提供し、アプリケーションロジックを書き換えることなく評価に基づいてモデルを切り替えられます。
オーケストレーションは作業がどのように分散されるかを決定し、正しいアプローチの選択が重要です。単純なタスクでは、単一のエージェントがエンドツーエンドで作業を処理します。複雑なクロスドメインワークフローでは、スーパーバイザーが専門エージェントに委任し、各専門エージェントは特定の能力にスコープされ、特定のツールセットに結び付けられます。すべてをこなす1つのエージェントを構築することは避けてください。ツール、指示、コンテキストが蓄積されると、コンテキストウィンドウが大きくなり、レイテンシが増加し、精度が低下する可能性があります。ツールの乱立が発生し、エージェントを意図された境界を超えさせ、意図しない操作やセキュリティ侵害につながる可能性があります。責任を分割することで、各エージェントのコンテキストを集中させ、レイテンシをより予測可能にします。また、各エージェントの動作を独立してテストし、スケールし、セキュリティモデルを定義できます。有界自律性を実施します。専門エージェントは付与されたツールの範囲内でのみ実行し、それ以上は行いません。
特定の専門エージェントへの分解とその境界設定に加えて、専門エージェントをスーパーバイザーエージェントから分離します。スーパーバイザーが中央エージェントレジストリから専門エージェントを発見し、MCP(Model Context Protocol)やA2A(Agent to Agent)などの標準化プロトコルを通じて呼び出せるようにします。各エージェントのツール、スキル、所有者をカタログ化する中央エージェントレジストリを維持します。これにより、組織は大規模なガバナンスに必要な可視性を得られ、再利用性を通じてAIエージェント実装の速度を高め、反復開発のコストを回避できます。専門エージェントにはStrands Agents、オーケストレーターにはAmazon Bedrock AgentCore harness、集中型の検出とルーティングにはAWS Agent RegistryとAmazon Bedrock AgentCore Gatewayの使用を検討してください。
セキュリティとガードレールは、初日から設計に組み込まれるべき主要な関心事です。エージェンティックAIは、従来のセキュリティフレームワークが対処するように作られていない新しいクラスのリスクに組織をさらします。プロンプトインジェクションやツールの悪用から、メモリやデータのポイズニングまでです。すべての外部コンテンツをデフォルトで信頼しないものとして扱います。リクエストがユーザー、別のエージェント、自動化ワークフローのいずれから来ても、Amazon Bedrock AgentCore Identityなどのサービスを通じてすべてのリクエストを認証します。次に、細粒度のアクセス制御を使用して、各ツール呼び出しが実行前に許可されるかを判断します。エージェントには永続的なシークレットではなく、一時的でスコープされた資格情報を付与します。データ保護の面では、エージェントとツールのリクエストおよびレスポンスでPHI(個人健康情報)やPII(個人識別情報)などの機密データをマスクし、機密顧客情報がエージェント出力に現れたりメモリに残ったりしないようにします。説明責任のために、すべての重要な決定を改ざん防止の監査証跡に記録し、影響の大きいアクションを人間の承認ゲートに通し、異常な動作がエスカレートする前に停止するサーキットブレーカーを展開します。ユーザー入力にはAmazon Bedrock Guardrails、認証とアクセス制御にはAmazon Bedrock AgentCore IdentityとPolicy、そして多層防御セキュリティを実現するためにAWSのセキュリティとガバナンスのコントロールの使用を検討してください。
アプリケーション層は、チャットインターフェース、APIサーフェス、埋め込みウィジェットなど、エンドユーザー体験が存在する場所です。この層は意図的に薄く保ちます。その唯一の責任は会話を提示し、リクエストを下のオーケストレーション層に渡すことです。ここにビジネスロジックを埋め込む衝動に抵抗してください。分離がきれいであるほど、バックエンドを不安定にすることなくユーザー体験を反復しやすくなります。決定モデルをこの境界に配置し、高速で安価なチェックとして機能させることができます。1回の呼び出しで、リクエストがスコープ内か、人間が必要か、緊急かをスコアリングし、自由テキストではなく確率を返します。コードは単純なしきい値でこれらのスコアに基づいて動作し、範囲外のリクエストに直接回答し、エスカレーションをフラグ付けするため、完全なエージェンティックループは価値を追加する場合にのみ実行されます。アプリケーション層を構築する際には、別のAIエージェントがあなたのAIエージェントとやり取りするために何が必要か、また人間とのやり取りについても考慮してください。それに応じて外部インターフェースを構築します。
可観測性は、最初のインシデントの後ではなく、初日からすべての層を監視するべきです。ログとメトリクスに加えて、エンドツーエンドのエージェントトレースは、エージェントがタスクを正しく実行したかを測定するために重要です。トレースに加えて、リクエストごとのコストとトークン使用量、最初のトークンまでの時間、呼び出しが安全かどうかを収集し、本番前にレイテンシ、エラー率、支出のダッシュボードを提供します。プロアクティブな監視は、リアクティブな消火活動よりも安価です。スタック全体の包括的な可視性を得るために、Amazon CloudWatchとOpenTelemetry、およびAmazon CloudWatch Omniをトレースとメトリクスに使用することを検討してください。
エージェンティックオペレーションは継続的な評価でループを閉じるため、初日から設定します。すべての本番セッションを根拠性、正確性、安全性についてスコアリングし、品質低下が顧客に届く前にキャッチする回帰ゲートを設置します。これがなければ、エージェントが起動時に機能したことしかわかりません。これがあれば、その後のすべてのリリース後も機能し続けることを証明できます。スコアリングにはAmazon Bedrock AgentCore Evaluations、継続的なパフォーマンスチューニングにはAmazon Bedrock AgentCore最適化の使用を検討してください。
小売カスタマーサポートエージェントのリファレンス実装
図2:小売カスタマーサポートリファレンス実装の機能フロー
アーキテクチャを具体化するために、このフレームワークには、注文状況と返金資格をカバーする小売カスタマーサポートシナリオに基づくすぐに実行可能なリファレンス実装が含まれています。このユースケースを選んだのは、スタックのすべての層を実践しながら、チームが従いやすく自身のニーズに適応できるほど直感的であるためです。
スーパーバイザーエージェントが顧客の返金リクエストを受け取り、注文エージェントと返金エージェントに委任します。各エージェントはスコープされたツールセットを持つ専門家です。注文エージェントはAmazon DynamoDBから配送と購入の詳細を検索します。返金エージェントは知識ベースからティアベースのポリシールールを取得し、配送日、現在日、顧客のロイヤルティティアを使用して資格を計算します。これらのすべての呼び出しはAgentCore Gatewayを通過し、ツール実行前にPolicy in AgentCoreを通じて細粒度のアクセス制御を実施し、すべての呼び出しは可観測性層を通じてエンドツーエンドでトレースされるため、計算が間違った場合、トレースはどの層とどの決定ポイントが原因かを正確に示します。
同様のスーパーバイザー・スペシャリストパターンを構築する人は誰でも、リファレンス実装をクローンし、層ごとに独自のドメインロジックに置き換えることができます。
プラグ可能性が層自体と同じくらい重要な理由
7層アーキテクチャの価値は、責任をどのように分離するかだけでなく、各層がどれだけ迅速に進化できるかにあります。プラグ可能性がそれを可能にします。アイデンティティチェックやアクセスポリシーからテレメトリインターフェースまで、層境界の安定した契約により、スタックの残りを再設計することなく基盤技術を変更できます。本質的に、技術主導のアプローチではなく、アーキテクチャ優先のアプローチでエージェンティックAIシステムを構築します。
このフレームワークは、層をまたぐサードパーティプロバイダーとの統合を通じてこれを実践しています。推論層のモデルとホスティングプロバイダー、オーケストレーション層の検索機能、アプリケーション層の決定API、セキュリティ層のガードレール、可観測性層のエージェントトレースと監視ソリューション、およびビジネス価値とコスト追跡です。各層で業界標準のプロバイダーをサポートしているため、特定の要件を満たすソリューションを構成できます。
企業にとって、柔軟性は既存の投資を保護します。チームはすでに信頼している可観測性、セキュリティ、推論ツールを保持し、必要に応じてギャップを埋め、新しい機能を段階的に採用できます。アーキテクチャは、すべての技術決定を同じベンダーから取得することを要求せずに、一貫した基盤を提供します。
結論
動作するプロトタイプは、エージェントが何をできるかを証明します。よく設計されたアーキテクチャは、企業がそれに依存できるかどうかを決定します。AIオペレーションへの移行は、セキュリティ、ガバナンス、可視性、コスト管理、信頼性、適応性をシステム構築後に追加するのではなく、初日から設計に組み込むことを意味します。
プラガブル・エージェンティックAIフレームワークは、これらの懸念を明確な原則を持つアーキテクチャに持ち込みます。すなわち、すべての技術選択を固定することなく、安定した基盤を構築することです。モデルは進化し続け、ツールは変化し、企業のニーズはシフトし続けます。安定した契約を持つアーキテクチャにより、システム全体を再構築することなく変化に適応できます。