Cloud Storage Rapid:為AI和分析加速的物件儲存
Google Cloud在Next '26上宣佈了Cloud Storage Rapid系列,包括Rapid Bucket和Rapid Cache,為AI和分析工作負載提供超低延遲、高吞吐量的物件儲存效能。
Google Cloud 在 Next '26 大會上正式釋出了 Cloud Storage Rapid,這是一個專為資料密集型工作負載(如 AI 和資料分析)設計的高效能物件儲存系列。該系列包含兩個核心元件:Rapid Bucket(原 Rapid Storage)和 Rapid Cache(原 Anywhere Cache)。Rapid Bucket 是一種高可用性的區域物件儲存,而 Rapid Cache 則能按需加速讀取操作,並將計算資源與資料置於同一區域,從而最佳化工作負載效能。
Cloud Storage Rapid 的誕生源於 AI 時代對儲存效能的嚴苛需求。隨著企業訓練萬億引數模型、在全球範圍部署推理服務,以及構建能夠處理海量資料的自主代理,儲存系統成為了關鍵瓶頸。GPU 和 TPU 等加速器雖然備受關注,但它們的效率高度依賴儲存系統的效能。如果 AI/ML 叢集在資料讀取或檢查點寫入時出現延遲,昂貴的計算資源就會被浪費。
Rapid Bucket 利用 Google 的分散式儲存系統 Colossus(驅動 Gemini 和 YouTube 的底層技術),實現了巨大的讀寫效能和超低延遲。它提供亞毫秒級延遲,單區域桶可達 2000 萬次查詢/秒(QPS)和 15 TB/s 以上的聚合讀取吞吐量。新的語義特性,如原生追加、無限讀取器(寫入時也可讀取)和向量讀取,進一步提升了效能。測試顯示,Rapid Bucket 可將 GPU 阻塞時間減少 50%,資料載入速度提升 2.5 倍,檢查點恢復速度加快 5 倍,寫入速度提升 3.2 倍。
Rapid Cache 則專注於為現有儲存桶提供更高讀取頻寬,無需修改程式碼。在推理場景中,它可實現高達 2.1 倍的模型載入加速,並節省 47% 的總體擁有成本(TCO)。新推出的“寫入時攝取”功能,允許資料在寫入桶的同時同步寫入快取,從而消除首次讀取的快取未命中懲罰,使檢查點恢復速度提升 2.2 倍。該功能推出一年內,部署量增長了 20 倍,目前承載了 Cloud Storage 全球出口流量的 20%。前沿 AI/ML 客戶如 Anthropic 也在使用 Rapid Cache。
在案例分享中,Thinking Machines Lab 的技術人員 James Sun 介紹了他們如何透過 Rapid Cache 解決基礎設施挑戰。該公司的資料密集型工作負載(如 Dataflow、Kafka、Spark 以及多模型訓練)面臨樞紐-輻式資料架構管理和突發流量導致的 429 錯誤等問題。整合 Rapid Cache 後,他們實現了穩定的讀取吞吐量峰值超過 1.8TB/s,減少了尾延遲和 429 錯誤,並透過多區域桶實現了全叢集擴充套件,同時利用層級名稱空間(HNS)最佳化了 Spark 工作負載。
無論是資料準備、大規模訓練還是低延遲推理,Cloud Storage Rapid 都能提供高效能與可靠性的結合。Rapid Bucket 適用於對讀寫效能要求最高的場景,如分析、AI 訓練和模型服務;Rapid Cache 則適合需要更高讀取頻寬和穩定尾延遲的現有儲存桶。使用者可根據需求選擇合適的加速方案。