解鎖歐洲AI靈活性：跨區域推理助力歐盟資料處理與模型訪問

隨著全球對最新生成式AI模型和高效能加速計算的需求激增，AWS客戶需要能夠跨多個AWS區域利用模型可用性和容量的工具，同時滿足安全和隱私要求。Amazon Bedrock上的跨區域推理（CRIS）透過自動將請求路由到預定義地理邊界內的多個AWS區域來滿足這些需求。這使得生成式AI應用能夠利用地理範圍內的廣泛容量，幫助客戶構建更體現其地理複雜性的彈性應用。

在本文中，我們將深入探討跨區域推理（CRIS），並解釋歐洲客戶如何從中受益。我們重點介紹了AWS為客戶提供的功能、服務和資源，以幫助其符合本地資料保護和處理要求，包括可能適用於其活動的《通用資料保護條例》（GDPR）。

跨區域推理配置檔案

跨區域推理是Amazon Bedrock的一項託管能力，可將模型推理請求路由到支援的AWS區域。推理配置檔案定義了請求可路由到的區域。CRIS路由旨在以最低的延遲開銷最佳化模型吞吐量。Amazon Bedrock引入了系統定義的推理配置檔案，這些配置檔案以模型和支援的地理區域命名。

理解以下關鍵概念很重要：源區域——發起API請求的區域；目標區域——Bedrock服務可將請求路由到的區域。系統定義的CRIS配置檔案具有全域性或地理範圍。接下來，我們將解釋全域性和歐盟地理範圍，以及客戶如何使用不同配置檔案來幫助其遵守監管和合規義務。

全域性推理

全域性推理配置檔案將模型推理請求路由到任何支援的AWS商業區域。輸入提示被傳輸到目標區域進行模型推理，模型輸出在目標區域生成並返回到源區域。傳輸的資料經過加密，且保持在安全的AWS網路內。目標區域自動選擇以最佳化可用模型容量和最低延遲。透過使用所有可用區域，採用全域性推理的生成式AI應用對高峰時段的容量短缺或其他區域模型可用性問題更具彈性。此外，與直接區域推理或地理CRIS相比，某些模型透過全域性CRIS享有折扣價格。

歐盟地理推理

地理CRIS（Geo CRIS）是系統定義的推理配置檔案，與全域性推理不同。這些配置檔案將模型附加到一個地理區域，從配置檔案內定義的不同區域提供同一模型的副本。EU CRIS配置檔案專門為幫助客戶處理歐盟居民資料而建立。CRIS只能在目標區域集合內最佳化流量。對於EU CRIS，所有目標區域都位於歐盟內部。來自歐盟外部的請求也可以透過EU CRIS最佳化。使用EU CRIS的客戶將獲得以下效果：來自歐盟源區域的請求只能路由到歐盟內的其他AWS區域；這些請求不會路由到非歐盟區域。例如，倫敦和蘇黎世不被視為此類請求的目標區域。

安全與控制

客戶資料的安全是AWS的最高優先順序，這也體現在Amazon Bedrock跨區域推理的設計中。AWS之間的流量（包括區域間、邊緣節點和AWS Direct Connect路徑）始終透過AWS運營的主幹網路。跨區域操作中傳輸的資料不經過公共網際網路。AWS對區域間傳輸的資料進行加密。消費者應用在呼叫模型時必須顯式在程式碼中指定CRIS配置檔案ID。地理推理配置檔案（包括EU CRIS）是靜態的，AWS不會向其中新增新區域。如果需要新增新的目標區域，Amazon Bedrock將釋出新的地理特定配置檔案。

透明度與審計性

許多資料處理法規要求控制者或消費者維護資料處理活動記錄。透過AWS CloudTrail，客戶可以持續監控AWS賬戶活動。CloudTrail捕獲API呼叫的歷史記錄，包括管理事件。對於Amazon Bedrock，每次API呼叫的後設資料（包括模型呼叫API如Converse和InvokeModel）預設被記錄，但不包含實際負載。這些日誌可在事件歷史中檢視90天。客戶還可以配置更長的儲存。在CloudTrail中，客戶可以透過additionalEventData中的inferenceRegion欄位檢視模型呼叫的源區域和目標區域。客戶還可以選擇啟用模型呼叫日誌記錄，將完整請求和響應傳送到CloudWatch Logs或S3。使用跨區域推理時，CloudWatch、CloudTrail和模型呼叫日誌記錄僅在源區域記錄日誌條目。

如何檢查可用的CRIS配置檔案？

客戶可以透過官方文件頁面、AWS控制台或AWS SDK（如Boto3）檢視可用的系統定義推理配置檔案及其源和目標區域。程式碼示例展示瞭如何列出系統定義的配置檔案。

推理配置檔案與本地資料處理

許多客戶有本地資料處理要求，需要了解資料在何處處理。AWS客戶可以使用AWS服務處理GDPR定義的個人資料。Amazon Bedrock屬於CISPE資料保護行為準則範圍，該準則提供了GDPR合規的獨立驗證。2021年，CISPE準則獲得歐洲資料保護委員會（EDPB）批准，並由CNIL正式採納。AWS客戶可以繼續使用AWS服務將客戶資料從EEA傳輸到未獲得充分性決定的國家（包括美國），同時符合GDPR要求。總之，全域性和地理CRIS配置檔案都能幫助客戶進行模型推理，但選擇取決於具體的合規需求。