企業は、エージェントが利用するアプリケーション、ツール、スキル、モデル、ストレージを統制するためにエージェントAIプラットフォームを構築しています。生成AIモデルの非決定的な性質は、従来のソフトウェア開発手法が想定していなかった複雑さをもたらします。記事は不動産アプリの例を挙げます。取得したデータから物件情報を生成する場合、その物件を正確に反映しているのか、存在しない特徴を幻覚として作り出していないのか。また、社内ナレッジベースに基づく顧客サービスエージェントは、機密情報を露出しないことを検証できるのか、という問いです。
これまで責任あるAI(RAI)はモデル中心で、機械学習の開発ライフサイクル(学習、テスト、推論)に限定されていました。モデルは推論せず、ツールを使わず、行動も起こしませんでした。モデル駆動型システムの議論に広がっても、既知の入力に対してテスト可能な統計的に境界のある状況が対象でした。生成AIアプリケーションとエージェントはこれを変えました。システムは推論し、行動し、ツールを動的に組み合わせ、複数ステップにわたって相互作用するため、責任あるAIがカバーすべき範囲と深さの両方が拡大します。
組織は、責任あるAIを成長戦略に変えつつあり、その拡大する範囲に早期に対処しています。責任あるAIには、セキュリティとプライバシー、信頼性と堅牢性、公平性、安全性、制御性、説明可能性、透明性、ガバナンスといった柱があります。エージェントAIを大規模に導入すると、正の影響と負の影響が同時に現れます。WadeとWirtzがハーバード・ビジネス・レビューで指摘したように、信頼は競争上の差別化要因になりつつあります。大規模にパーソナライズする能力は、監視や差別にも使われ得るため、これらを統治する組織がステークホルダーの信頼を得ます。例えばRobinhoodはAmazon Bedrock上で生成AIによる金融犯罪エージェントを構築し、厳格なデータガバナンスを実施しました。規制遵守を維持しながら20%の効率向上を達成しています。次の段階は、こうした実践をプラットフォームの成熟度に沿って構造化することです。記事ではプラットフォームを管理するチームをプラットフォームチーム、その上で構築するチームをアプリケーションチーム(ワークストリームチームとも呼ぶ)と呼び、後者がエージェントを構築・所有します。
記事は、エージェントAI上で構築するプラットフォームチームとアプリケーションチームに向けた、簡潔で実行可能なロードマップを提供します。プラットフォームチームがガードレールを設定し、アプリケーションチームはその内側で構築します。双方が、自分たちがどこにいて何が良い状態かを判断するための共通言語を必要とします。記事は責任あるAI評価スキルを提供し、AWS責任あるAIレンズの柱を3段階の成熟度モデル(ガバナンス基盤、パイロット展開、評価と強化)にマッピングします。各段階でどの責任あるAIの柱が重要か、いつ再検討すべきかを示します。付属のスコアカードにより、アプリケーションチームとプラットフォームチームは現状を評価し、アプリケーションの成熟に合わせて反復できます。
記事は、各段階で尋ねるべき主要な問いを扱い、実装の詳細な手順は含まないと断っています。また法律やコンプライアンスの助言は提供せず、常に法務チームに相談すべきとしています。
課題
エージェントAIプラットフォームを構築する顧客との会話では、4つの課題が一貫して浮かび上がります。
予測不能な実行時の動作:非決定的な出力、目標のドリフト、1つのエージェントのエラーがサービス間で伝播するカスケード障害。ドイツの金融サービス企業では、マルチエージェントのオーケストレーションが1つの誤分類を3つの下流サービスにおけるポリシー違反に増幅させました。
データ露出と権限の境界:各エージェントを、意図されたテナント、データ、システム、アクションの範囲に限定します。セッションコンテキストを分離し、各セッションがアクセス層でのデータレジデンシーから始まるようにします。特権アクセスは最小権限でタスクに紐づいた権限を通じて付与し、エージェント自身が変更できないようにします。これによりエージェントは明示的に与えられたシステムと権限の範囲内でのみ行動します。
規制の速度:EU AI Act、ISO 42001、NIST AI RMF、および今後の立法により、コンプライアンス要件はガバナンスが適応する速度を上回って生じています。非決定的なシステムのコンプライアンスを証明するには継続的な評価が必要で、あらかじめ定めた頻度(毎日、毎週、毎月など)で監視し再検討すべきです。
チーム連携:組織には、エージェントのライフサイクル全体で誰が何を所有するかを定義する共有フレームワークが欠けています。英国のメディア企業は、開発チームと展開チームの職務分離がエージェントワークロードでは未定義だと指摘しました。プラットフォームチームがガードレールを構築し、アプリケーションチームがそれを回避し、アプリケーションチームはプラットフォームが処理すると思って責任を委ねてしまいます。
解決策:3段階の責任あるAI成熟度フレームワーク
記事は、エージェントAIプラットフォームを、AIエージェントを安全に大規模構築・展開・運用するためのシステムと定義し、ガバナンス、構築と運用、評価、可観測性をカバーします。責任あるAIの姿勢は、このプラットフォームとともに段階的に成熟させるべきです。記事は旅を3段階に分け、カスタマイズ可能な12週間の実装タイムライン上で優先すべき責任あるAIの柱を示します。これによりプラットフォームチームは、最初のユースケースが形作られる間に強固な責任あるAI基盤を確立できます。
第1段階:ガバナンス基盤
重点的な柱:ガバナンス、セキュリティとプライバシー
この段階では、プロジェクトの適合性、リスク、倫理を評価し、法務・コンプライアンスの承認を得て、AIエージェントの信頼モデルを定義します。アプリケーションチームはリスク評価基準を用いて各計画ユースケースのリスクを分類します。プラットフォームチームは中核となるランディングゾーン基盤の確立に注力します。例えば、全体的な監視とアクセス制御を設定し、新しくオンボードされるエージェントとユースケースを最初から統治します。
この段階で検討すべき重要なタスクは次のとおりです。
セキュリティとプライバシー
各エージェントが必要とするデータとシステムへのアクセスを評価し、潜在的な影響を評価します。これは知識グラウンディング戦略の基礎となります。
データ分類、データアクセス制御、ログ記録、データ整合性、データアクセス監視を含む、基盤的なデータセキュリティとデータ持ち出し防止を実装します。
組織のナレッジベースなどエージェント間で共有されるデータと、個々のエージェントが必要とするコンテキストグラフなどの主観的データのマップを作成します。その後、アクセス境界を確立し、読み取り/書き込み権限を割り当てます。
ガバナンス
規制上の義務(EU AI Actのリスク階層、金融サービス業界の要件など)に沿ったリスク分類基準を定義します。各計画ユースケースに低/中/高/許容不可のリスクレベルを割り当て、各リスクレベルが引き起こす制御要件を文書化します。関連する文書とトレーサビリティ要件を収集します。
エージェントをオンボードする前に、基盤モデルは審査手続きを経る必要があります。この手続きは安全性と信頼性の基準による一連の評価をカバーします。能力、レイテンシ、コストに基づいて承認済みモデルをカタログ化します。
組織内に展開されるエージェント、共有ツール、スキルなどの製品を一元登録・統治するプロセスを実装し、可視性と利用を集中管理します。すべての製品は所有者、リスク階層、規制範囲とともに登録されます。リソース(エージェント、ツール、スキル)がレジストリにない場合、組織はそれを発見も管理もできません。
第2段階:パイロット展開
重点的な柱:安全性、信頼性と堅牢性、制御性、セキュリティとプライバシー
測定可能なビジネス価値を提供する最初のエージェントを展開します。アプリケーションチームはプラットフォームチームが提供するテンプレートと開発ガイダンスを用いて、オーケストレーションパターン、メモリ、ガードレールのベースライン、知識グラウンディング、ツール利用パターンを実装します。基盤段階で特定されたリスクは、パイロット実装における具体的な制御のセットを通じて対処する必要があります。
この段階でアプリケーションチームは次の懸念を検討します。
安全性
ガードレール。プラットフォームチームはモデルの入出力とツール呼び出しに対する基盤的なPII編集フィルターを確立し、すぐに適用できるガードレールルールのセットを提供します。アプリケーションチームはエージェントが提供するユースケースに基づいてコンテンツモデレーションのしきい値を明示的に設定します。低信頼度の応答には人間へのエスカレーションを設定します。
ポリシー。どのエージェントがどのツールにどのようにアクセスできるかを定義します。ポリシー違反時のフォールバックシナリオを追加します。
信頼性と堅牢性
チェック付きの知識グラウンディング:正しいコンテキストがあっても、モデルは幻覚を起こしたり、提供されたソースを誤って表現したりする可能性があります。そのため、すべての応答が関連データに正しく基づいていることを検証するコンテキストグラウンディングチェックを構成します。規制対象のユースケースでは、検証可能な出力のために自動推論を有効にします。知識ソースをキュレーションし更新するプロセスを実装します。ドメイン外のリクエストを分類し処理する方法を定義します。
制御性
高リスクまたは代理実行のアクションに対して、サーキットブレーカーとして人間参加型の承認プロセスを実装します。エージェントが人間の承認者/レビュアーに委ねるべき基準(信頼度がしきい値未満、安全ガードレールが発動、高リスクの意思決定など)を定義します。エスカレーションイベントを記録し、後で監査と分析に使用します。
エンドユーザーに権限監査を提供し、人間のユーザーまたはエージェントがサブエージェントに付与した権限を付与/取り消しできるようにして、透明な制御を実現します。
セッションレベル、トレースレベル、スパンレベルのテレメトリを備えたエンドツーエンドの可観測性を有効にします。エージェントの意思決定、ガードレールの呼び出し、ツール呼び出しに対して構造化トレースを出力します。マルチエージェントおよびマルチツールのワークフロー全体に分散トレーシングを実装し、エージェントの推論パスを完全に再構築できるようにします。360度の可観測性とコスト管理のためのダッシュボードを追加します。
セキュリティとプライバシー
最小権限のアクセス制御を確立します。宣言型ポリシー言語を使用して、ツールレベルのアクセスに対するポリシーベースの認可ルールを定義します。エージェントのアクションとナレッジソースごとに細かいアクセスポリシーを適用します。
第3段階:評価と強化
重点的な柱:公平性、説明可能性、透明性、セキュリティとプライバシー
最初のエージェントがビジネス価値を提供していることを確認しました。しかし、それを規制当局、監査人、取締役会にどう証明するのか。システム上の不正イベントをどう検出し防止するのか。第3段階では、評価が公平性のしきい値とバイアスベンチマークをストレステストし、強化がその発見を修正に変えます。
この段階には次のワークストリームが含まれます。
公平性
モデルレベルの公平性テスト:モデルカードの公平性指標を確認し、一般的なバイアスについてテスト済みの事前承認モデルリストにモデルアクセスを制限します。指標が提供されていない場合は、Compositional Evaluation Benchmark(CEB)やHolistic Evaluation of Language Models(HELM)などの確立されたベンチマークセットを使用してバイアスとアラインメントを自分でテストします。出力とルーティングが人口統計グループを公平に扱うか監視します。
エージェントレベルの公平性テスト:ツール選択を含むエンドツーエンドのエージェントルーティングとリソース割り当てが、ユーザーグループを公平に扱うかを評価します。
公平性回帰監視:モデルの更新や新しいデータソースの追加に伴う公平性のドリフトを検出する自動パイプラインを設定します。
透明性
機械生成コンテンツに対する強制可能な透明性:すべての再利用可能な出力に機械可読な来歴ラベルを付け、下流の消費者が起源を検証できるようにします。ユーザー向けインタラクションではAIの存在の開示を義務付けます。
意思決定監査証跡:各エージェントの行動……(原文はここで途切れています)