NVIDIA與AWS合作，將AI大規模投入生產
NVIDIA與AWS合作，透過新的EC2 G7例項（搭載Blackwell GPU）和OpenSearch Serverless中的GPU加速向量索引（由cuVS驅動），以及AWS獲得NVIDIA GB300訓練的Exemplar雲狀態，為企業提供可擴充套件、低延遲的AI基礎設施。
構建大規模AI系統要求嚴苛，需要低延遲推理、快速向量搜尋、優異的GPU價效比以及可擴充套件且不增加運營複雜性的基礎設施。NVIDIA與亞馬遜雲服務（AWS）的最新合作解決了這些挑戰。透過Amazon OpenSearch和Amazon EC2，NVIDIA AI基礎設施為企業提供了將AI投入生產規模的更實用路徑。
新的Amazon EC2 G7例項搭載NVIDIA RTX PRO 4500 Blackwell伺服器版GPU，為AI推理、圖形、空間計算和GPU加速資料分析提供了新的例項型別。與G6例項相比，G7例項的AI推理效能提升高達4.6倍，圖形效能提升高達2.1倍，並透過NVIDIA cuDF庫在Amazon EMR上顯著加速資料分析。G7例項支援最多8個GPU、256GB總GPU記憶體、700 Gbps EFA網路和高達7.6TB本地NVMe SSD儲存，提供1、2、4、8 GPU配置以及即將推出的裸機選項，允許客戶根據工作負載精確配置基礎設施，避免過度配置。該平臺的多樣性使AI團隊獲得更低延遲的推理，媒體和娛樂團隊獲得高解析度影片工作流和渲染，模擬、CAD、VDI、遊戲和空間計算團隊獲得圖形密集型應用，資料團隊則可利用GPU記憶體、本地儲存和網路改進進行分析管道和向量資料庫工作負載。G7例項可透過AWS深度學習AMI、Amazon Deep Learning Containers、Amazon EMR、Amazon EKS、Amazon ECS和圖形AMI訪問，並即將支援Amazon SageMaker AI。
下一代Amazon OpenSearch Serverless為代理AI和動態工作負載提供無需基礎設施管理的支援。它預設使用NVIDIA cuVS驅動的GPU加速向量索引，用於所有向量集合。對於構建檢索增強生成、語義搜尋、推薦系統和代理AI應用的團隊，這一轉變意義重大，將GPU驅動的向量搜尋從專業最佳化專案轉變為標準AWS能力。實際影響是：向量索引速度提升高達10倍，成本僅為CPU構建的四分之一，使十億級向量資料庫在一小時內建成。透過將NVIDIA cuVS設為OpenSearch Serverless的預設選項，AWS客戶獲得了從原始資料到生產就緒AI檢索基礎設施的更快路徑，且無伺服器擴充套件減少了工作負載空閒時的運營開銷。
AWS已獲得NVIDIA GB300訓練的Exemplar雲狀態，意味著AWS達到了NVIDIA用於基準測試AI工作負載的嚴格效能閾值。這是AWS和NVIDIA團隊深度協同工程的結果。透過NVIDIA Exemplar雲計劃，開發者和AI領導者可以確信他們正在使用一致、高效能的雲基礎設施進行大規模訓練，幫助團隊更有信心地評估雲提供商，改善總體擁有成本，並更高效地將AI專案從規劃推進到生產。
這些進步強化了AWS上AI基礎設施棧的每一層。其主線是相同的：生產級AI基礎設施，能夠大規模執行，且不增加運營負擔。