欧州でのAI柔軟性を引き出す：EUデータ処理とモデルアクセスのためのクロスリージョン推論ガイド
AWSのAmazon Bedrock上のクロスリージョン推論（CRIS）は、欧州の顧客が複数のAWSリージョンにわたるモデル容量を活用しつつ、GDPRなどのデータ保護要件を満たすことを可能にします。この記事では、グローバルおよびEU地理推論プロファイル、セキュリティ機能、透明性ツール、利用可能なプロファイルの確認方法について詳しく説明します。
最新の生成AIモデルと高性能アクセラレーテッドコンピュートへのアクセスに対する世界的な需要が高まる中、AWSのお客様は、セキュリティとプライバシーの要件を満たしながら、複数のAWSリージョンにわたるモデルの可用性と容量を活用するためのツールを必要としています。Amazon Bedrockのクロスリージョン推論（CRIS）は、事前定義された地理的境界内でリクエストを複数のAWSリージョンに自動的にルーティングすることで、これらのニーズを満たします。これにより、生成AIアプリケーションは地理的範囲内の広範な容量を消費し、お客様の地理的な複雑さを反映したより回復力のあるアプリケーションを構築できます。
この記事では、クロスリージョン推論（CRIS）について詳しく掘り下げ、欧州のお客様がどのように利益を得られるかを説明します。また、AWSがお客様に提供する機能、サービス、リソースを紹介し、CRISを使用する際に適用される可能性のある一般データ保護規則（GDPR）を含む、現地のデータ保護および処理要件に準拠するための支援を行います。
クロスリージョン推論プロファイル
クロスリージョン推論はAmazon Bedrockのマネージド機能であり、サポートされているAWSリージョン内でモデル推論リクエストをルーティングします。推論プロファイルは、リクエストのルーティング先リージョンを定義するリソースです。これらのプロファイルは、特定のリージョンセット内でリクエストをルーティングします。CRISルーティングは、最低限のレイテンシーオーバーヘッドでモデルスループットを最適化するように設計されています。
Amazon Bedrockは、システム定義の推論プロファイルを導入しました。これらのプロファイルは、モデルとサポートする地理的リージョンにちなんで命名されています。これにより、Amazon BedrockユーザーはAWSのグローバルスケールのフットプリントを活用して生成AIソリューションを構築できます。クロスリージョン推論プロファイルが推論リクエストを処理する方法を理解するには、以下の主要概念を理解することが重要です：
- ソースリージョン – 推論プロファイルを指定するAPIリクエストを行うリージョン。
- 宛先リージョン – Amazon Bedrockサービスがソースリージョンからリクエストをルーティングできるリージョン。
システム定義のCRISプロファイルには、グローバルまたは地理的スコープがあります。次のセクションでは、グローバルおよびEUの地理的スコープ、およびお客様がさまざまなプロファイルを使用して規制およびコンプライアンス義務を遵守する方法について説明します。
グローバル推論
グローバル推論プロファイルは、モデル推論リクエストをサポートされているすべてのAWSコマーシャルリージョンにルーティングします。入力プロンプトはモデル推論を提供するために宛先リージョンに送信され、モデル出力は宛先リージョンで生成されてソースリージョンに返されます。クロスリージョン推論中に送信されるデータは暗号化され、安全なAWSネットワーク内に留まります。宛先リージョンは、利用可能なモデル容量と最小限のオーバーヘッドで応答を返すように自動的に選択されます。
すべての利用可能なサポート対象リージョンを使用することで、グローバル推論プロファイルを使用する生成AIアプリケーションは、ピーク時やその他のリージョンモデル可用性の問題における潜在的な容量不足に対してより回復力が高まります。さらに、いくつかのモデルは、直接リージョン内または地理的CRIS呼び出しと比較して、グローバルCRISを通じて割引価格で利用できるため、グローバル推論はさらに魅力的です。
EU地理ベースの推論
地理的CRIS（Geo CRIS）は、グローバル推論プロファイルとは異なるシステム定義の推論プロファイルです。これらのプロファイルはモデルを地理にアタッチし、プロファイル内で定義された異なるリージョンから同じモデルのコピーを提供します。Amazon Bedrockのお客様は、要件に基づいて選択できるさまざまなGeo CRISプロファイルを利用できます。このセクションでは、EU固有の推論プロファイル（EU CRIS）に焦点を当てます。
EU CRISプロファイルは、EUの居住地に関するトピックについてお客様を支援するために作成されました。CRISは、宛先リージョンのセット内でのみトラフィックを最適化できます。EU CRISの場合、すべての宛先リージョンは欧州連合内にあります。EU外部からのリクエストもEU CRISで最適化できます。そのようなリクエストのソースリージョンは欧州連合外にあります。そのようなリクエストの場合、CRISはそれぞれのソースリージョンに加えてEUリージョン内で推論を最適化します。EU CRISプロファイルを使用するお客様は、以下の効果があります：
- EU内のソースリージョンからのリクエストは、欧州連合内の他のAWSリージョンにのみルーティングできます。
- EUソースリージョンからのリクエストは、EU CRISを使用している場合、非EUリージョンにルーティングできません。たとえば、チューリッヒとロンドンはそのようなリクエストの宛先リージョンとは見なされません。
- ロンドンリージョンからのリクエストは、利用可能なEUリージョンとロンドンリージョン間でのみルーティングできます。
- チューリッヒリージョンからのリクエストは、利用可能なEUリージョンとチューリッヒリージョン間でのみルーティングできます。
- EU外部からのリクエストでEU CRISを使用する場合、最適化はソースリージョンとEUリージョンのみを考慮します。
クロスリージョン推論のセキュリティと制御
お客様のデータのセキュリティはAWSの最優先事項であり、これはAmazon Bedrockのクロスリージョン推論の設計にも反映されています。
AWS間のトラフィックフロー（リージョン間、エッジロケーション、AWS Direct Connectパスを含む）は、常にAWS運用のバックボーンパスを経由します。クロスリージョン操作中に送信されるデータはAWSネットワーク上に留まり、パブリックインターネットを経由しません。AWSはリージョン間の転送中のデータを暗号化します。コンシューマーアプリケーションは、クロスリージョン推論のためにモデルを呼び出す際に、コード内で明示的にCRISプロファイルIDを指定する必要があります。たとえば、次のコードスニペットは、Amazon Nova Liteモデルの2回の呼び出しを示しています。1つはEU CRISを使用し、もう1つはグローバルCRISを使用しています。
地理的推論プロファイル、したがってEU推論プロファイルは静的です。つまり、AWSはプロファイルにリージョンを追加しません。新しい宛先リージョンを地理固有のプロファイル（EU CRISを含む）に追加する必要がある場合、Amazon Bedrockは新しい推論プロファイルIDを持つ新しい地理固有のプロファイルを公開します。
透明性と監査可能性
多くのデータ処理規制では、管理者または消費者がデータ処理活動の記録を維持する必要があります。グローバルCRISと地理的CRISの両方でこれを実現できます。
AWS CloudTrailを使用すると、お客様はAWSアカウントのアクティビティを継続的に監視できます。CloudTrailは、お客様のアカウントのAWS API呼び出しの履歴をキャプチャします。これには、AWS管理コンソール、AWS SDK、コマンドラインツール、および高レベルのAWSサービスを介して行われたAPI呼び出しが含まれます。特にAmazon Bedrockでは、管理イベントとしてカウントされるAPIへの各呼び出しのメタデータがデフォルトでログに記録されます。これにはConverseやInvokeModelなどのモデル呼び出しAPIが含まれますが、実際のペイロードは含まれません。これらのログは、イベントソース「bedrock.amazonaws.com」でフィルタリングすると、過去90日間イベント履歴からアクセスできます。継続的な記録のために、CloudTrailを設定してこれらのイベントをより長く保存できます。
関連するイベントをCloudTrailで確認する際、お客様はadditionalEventDataセクションのinferenceRegionフィールドでモデル呼び出しのソースリージョンと宛先リージョンを確認できます。
オプションで、お客様はモデル呼び出しログ記録を有効にすることもできます。この機能は、完全なリクエスト、レスポンス、およびメタデータを含む、アカウントのソースリージョンでのすべての呼び出しに関する詳細情報を収集します。お客様はログをAmazon CloudWatch LogsまたはAmazon Simple Storage Service（Amazon S3）に送信できます。モデル呼び出しログ記録はデフォルトでオフのままであり、必要に応じてお客様が明示的に有効にする必要があります。
クロスリージョン推論を使用する場合、Amazon CloudWatch、AWS CloudTrail、およびモデル呼び出しログ記録は、リクエストが発信されたお客様のAWSアカウントのソースリージョンでのみログエントリを記録し続けます。この設計により、実際にリクエストを処理した宛先リージョンに関係なく、監視とログ管理が合理化され、ソースの場所にログを保存することでローカルデータ処理要件が維持されます。
利用可能なCRISプロファイルを確認する方法
利用可能なシステムプロファイルに関心のあるお客様は、以下の方法があります：
- すべてのシステム定義の推論プロファイルと関連するソースおよび宛先リージョンをリストした公式ドキュメントページを使用する。
- AWSコンソールページでクロスリージョン推論に移動して、ソースリージョンで利用可能な推論プロファイルを表示する。
- AWS SDK（Boto3など）を使用する。以下のコードスニペットはその例です。
推論プロファイルとローカルデータ処理
多くのお客様にはローカルデータ処理要件があり、データがどこで処理されるかについての透明性が必要です。これはグローバル推論プロファイルと地理的推論プロファイルの両方に適用されます。
AWSのお客様は、AWSサービスを使用して、GDPRに準拠してAWSアカウントにアップロードされた個人データ（GDPRで定義）を処理できます。
Amazon Bedrockは、CISPEデータ保護行動規範の対象となる多くのサービスの1つです。これは、当社のクラウドサービスが一般データ保護規則（GDPR）に準拠して使用できることを、独立した検証とお客様への追加の保証を提供します。CISPE規範は、クラウドインフラストラクチャサービスプロバイダー向けの最初の欧州全体のデータ保護行動規範です。2021年5月、CISPE規範は、欧州の27のデータ保護当局を代表して欧州データ保護委員会（EDPB）によって承認されました。2021年6月、この規範は主任監督当局としてのCNILによって正式に採択されました。
AWSのお客様は、GDPRに準拠して、欧州委員会から十分性認定を受けていない非EEA諸国（米国を含む）に顧客データを転送するためにAWSサービスを引き続き使用できます。グローバルCRISプロファイルと地理的CRISプロファイルの両方がモデル推論の消費に役立ちますが、選択は特定のコンプライアンス要件に依存します。