AIポリシーを持つことと、AIシステムがそれに従っていることをユースケースごとに証明することは別問題です。新しい生成AIアプリケーションが増えるたびに、証明すべきシステムが1つ増えます。チームは今や数日でアプリケーションを構築できますが、顧客や従業員に届く前にリスク委員会の承認が必要です。承認がレビュー担当者による文書の読解と手動テストに依存していると、ガバナンスがパイプラインの最も遅いステップになります。
Standard Bank Groupはその証明を自動化することを選びました。銀行はAWS Professional Servicesと協力し、各生成AIユースケースを国際AI標準と自社ポリシーに照らして評価する自動評価システムを導入しました。評価は、すでに整備されているもの、うまく機能しているもの、まだ緩和が必要なものを示すレポートとダッシュボードを生成します。本記事では、評価がAWS上でどのように実行されるか、そしてStandard Bank Groupが最初の実行から何を学んだかを説明します。
Standard Bank Groupは新しいAIポリシーを必要としませんでした。ほとんどの大銀行と同様、説明可能性や公平性などの懸念をカバーする確立されたモデルリスク実務と、各ユースケースをリスクレベルに応じて評価する変更リスクプロセスをすでに持っています。生成AIは複雑さを増します。モデルとツールは3〜6か月ごとに変わりますが、各ユースケースは同じ高いセキュリティとコンプライアンスの基準を満たす必要があります。
目標は、証拠収集とテストを自動化し、その結果をStandard Bank Groupがすでに運用している承認ゲートに供給することでした。レビューと承認はリスク委員会に残りますが、委員会は現在、ユースケース間で同じ方法で収集された一貫した証拠に基づいて各決定を下します。
評価はStandard Bank Group自身のAWSアカウント内で完全に実行されます。文書、コード、テスト結果はそこにあるAmazon Simple Storage Service (Amazon S3) バケットに保存されます。AWS Well-Architected Toolがインテークを処理し、AWS Step Functionsがパイプラインをオーケストレーションし、Amazon Bedrock上の基盤モデルが証拠を評価します。LLM-as-a-judgeと呼ばれる手法を使用し、大規模言語モデルが定義された基準に対して証拠をチェックします。
Amazon Bedrockにより、Standard Bank GroupはAWS上ですでに実行している制御の外に出ることなく基盤モデルを利用できます。銀行は他のAWSワークロードと同様に、AWS Identity and Access Management (IAM) を介してモデルへのアクセスを制御します。Amazon Bedrockは銀行のプロンプトやモデル出力をモデルプロバイダーと共有せず、モデルのトレーニングにも使用しません。Amazon Bedrockは1つのAPIで多くの基盤モデルを提供するため、チームはパイプラインを再構築せずに構成設定を変更するだけで新しい判定モデルに移行できます。
各評価は4つのステップを経ます。最初の2ステップでは、事前評価エージェントがユースケースに関する証拠を収集し、パイプラインがそれを検査してアプリケーションを直接テストします。3番目は証拠を制御項目に対して評価します。4番目は結果を標準の定義済み形式で要約し、行動する人々に届けます。
Well-Architected Toolのカスタムレンズには約40の質問があり、それぞれが技術文書の不完全さや人的監視の不足などのリスクイベントをカバーします。デリバリーチームはもはやゼロから記入しません。AWS Fargate上で実行される事前評価エージェントが、ユースケースのコードリポジトリと文書をスキャンします。関連ファイルを各質問にマッピングし、回答と証拠へのリンクでレンズを事前入力します。その後、デリバリーチームが回答をレビューし、間違いを修正し、エージェントが見つけられなかった証拠を追加します。
パイプラインは4種類の証拠で機能します。システム文書、ポリシー文書、ソースコードとシステムプロンプト、そしてアプリケーションへのライブコールです。文書とコードについては、パイプラインは各成果物がマッピングされた制御項目に必要なものを含んでいるかどうかをチェックします。各制御項目は国際AI標準またはフレームワーク、あるいはStandard Bank Group自身のポリシーに由来します。たとえば、インシデント手順はインシデントがどのように報告されるかを記述する必要があります。
ライブテストでは、パイプラインはアプリケーションのAWS Lambda関数またはAPIを介してアプリケーションを呼び出します。デリバリーチームは典型的なユーザーが尋ねる質問を提供します。パイプラインは、アプリケーションが拒否することが期待されるジェイルブレイク試行とトピック外の質問の組み込みセットを追加します。また、同じプロンプトを元の形式と書き換えた形式で数回送信し、Amazon Bedrock上の埋め込みモデルを使用して回答の意味が一貫しているかを確認します。チームが期待される回答を提供する場合、パイプラインは応答がそれらにどれだけ一致するかを測定します。すべての応答はAmazon S3に保存され、レビュー担当者がアプリケーションが生成したものを正確に確認できます。
このステップでは、Amazon Bedrock上の基盤モデルが判定者として機能します。評価はモデルをそのまま使用し、微調整やカスタマイズは行いません。各質問について、モデルは特定の証拠が成果物とアプリケーションの応答に現れるかどうかをチェックし、はいまたはいいえを返します。すべてのチェックは、AI管理、AIリスク、またはAIセキュリティの国際標準またはフレームワークの制御項目にマッピングされます。Standard Bank Groupはまた、自社標準から構築された判定質問でレンズをカスタマイズし、合計を300以上にしました。チェックはAWS責任あるAIの8つの次元をカバーします:真実性と堅牢性、プライバシーとセキュリティ、透明性、公平性、安全性、制御可能性、ガバナンス、説明可能性です。
各リスクには可能性スコア、モデルが見つけられなかった必要な証拠の割合、および銀行のリスクチームが調整できる固定の重大度レベルが与えられます。これらが合わさって、非常に低いから重大までの評価を生み出します。欠落した証拠の各部分は、特定の緩和策と、それが由来する標準またはポリシーの条項にマッピングされます。リスクオフィサーは、規制当局に決定を説明する際に、あらゆる発見をその出所まで追跡できます。
Standard Bank Groupは2つの方法で評価の出力を保護およびチェックします。すべてのAIモデルインタラクションはAmazon Bedrock Guardrailsによって保護され、銀行の確立されたセキュリティと責任あるAI標準への準拠を保証します。評価のモデル呼び出しは、銀行がAIワークロードのためにAWSアカウント全体で実施するのと同じ保護措置を通過します。これらのガードレールは有害なコンテンツとモデルを操作する試みをスクリーニングします。評価はまた、その出力をチェックできるように設計されています。モデルに自由形式の意見を求める代わりに、パイプラインは狭いはい/いいえの質問をし、各質問は特定の制御項目に一致するように言葉遣いされています。リスクチームが検査できる固定式がそれらの回答をスコアに変換します。各評価は複数回実行され、回答の一貫性が測定され、一貫性のない発見はレビューインターフェースでフラグが立てられます。すべての判断はその背後にある証拠とともに保存され、レビュー担当者と監査人がどのように導き出されたかを追跡できます。
パイプラインは結果を標準形式で要約し、エグゼクティブプレゼンテーション、緩和チェックリスト、詳細技術レポート、およびユースケース間のスコアを経時的に追跡するAmazon CloudWatchダッシュボードとして提供します。ゲート決定の前に、レビュー担当者はシングルサインオンを備えたカスタムレビューインターフェースで発見を確認します。そこでユースケースを追加し、質問をレビューし、ビジネス上の正当性で回答を修正し、出力を書き換えることができます。評価は制御項目に対する証拠を生成します。規制への準拠を証明するものではなく、Standard Bank Groupは自身の規制判断に責任を負います。
国際標準はすべてのユースケースに共通のベースラインを与えますが、銀行のリスク委員会は独自のポリシーに基づいてユースケースを承認します。質問ファクトリーは、内部文書から追加の判定質問を生成することでこれに対処します。Standard Bank Groupのリスクチームはこれを使用して、内部ポリシーをすべてのユースケースで実行されるチェックに変換しました。これらのチェックはポリシーの文言から直接導出されるため、ポリシーの変更はテストの変更になります。後続のすべての評価は更新されたルールを自動的に適用し、リスクチームの手動による再作業は最小限です。
評価はユースケースのライフサイクルの3つの段階に適合します。概念実証ではオプションであり、チームに潜在的なギャップの早期ビューを提供します。構築段階では必須となり、承認ゲートはその結果を正式な証拠として利用します。現在、評価はStandard Bank Groupの本番環境で実行され、ユースケースが稼働する前に評価しています。ライブワークロードが接続された後、評価はスケジュールに従って、またはコードや構成が変更されるたびに再実行され、ローンチ後も証拠を最新の状態に保ちます。銀行のチームはすでに中央システムを通じて自ら評価をトリガーしており、ユースケースは単一のワークフローでインテークから評価へと流れます。
Standard Bank Groupでは、評価は従来手動で2週間かかっていたレビューを、約2時間で生成される包括的なリスクレポートに短縮し、6回の評価で実証されました。また、修復後のユースケースリスクスコアが14%改善しました。これにより責任あるAIガバナンスが強化され、コンプライアンスのボトルネックが減少し、評価から本番までの道のりが短くなります。