AI News HubLIVE
站內改寫2 分鐘閱讀

Cloud Storage Rapid:為AI和分析加速的對象存儲

Google Cloud在Next '26上宣佈了Cloud Storage Rapid系列,包括Rapid Bucket和Rapid Cache,為AI和分析工作負載提供超低延遲、高吞吐量的對象存儲性能。

來源Hacker News AI作者: leg

Google Cloud 在 Next '26 大會上正式發佈了 Cloud Storage Rapid,這是一個專為數據密集型工作負載(如 AI 和數據分析)設計的高性能對象存儲系列。該系列包含兩個核心組件:Rapid Bucket(原 Rapid Storage)和 Rapid Cache(原 Anywhere Cache)。Rapid Bucket 是一種高可用性的區域對象存儲,而 Rapid Cache 則能按需加速讀取操作,並將計算資源與數據置於同一區域,從而優化工作負載性能。

Cloud Storage Rapid 的誕生源於 AI 時代對存儲性能的嚴苛需求。隨着企業訓練萬億參數模型、在全球範圍部署推理服務,以及構建能夠處理海量數據的自主代理,存儲系統成為了關鍵瓶頸。GPU 和 TPU 等加速器雖然備受關注,但它們的效率高度依賴存儲系統的性能。如果 AI/ML 集羣在數據讀取或檢查點寫入時出現延遲,昂貴的計算資源就會被浪費。

Rapid Bucket 利用 Google 的分佈式存儲系統 Colossus(驅動 Gemini 和 YouTube 的底層技術),實現了巨大的讀寫性能和超低延遲。它提供亞毫秒級延遲,單區域桶可達 2000 萬次查詢/秒(QPS)和 15 TB/s 以上的聚合讀取吞吐量。新的語義特性,如原生追加、無限讀取器(寫入時也可讀取)和向量讀取,進一步提升了性能。測試顯示,Rapid Bucket 可將 GPU 阻塞時間減少 50%,數據加載速度提升 2.5 倍,檢查點恢復速度加快 5 倍,寫入速度提升 3.2 倍。

Rapid Cache 則專注於為現有存儲桶提供更高讀取帶寬,無需修改代碼。在推理場景中,它可實現高達 2.1 倍的模型加載加速,並節省 47% 的總體擁有成本(TCO)。新推出的“寫入時攝取”功能,允許數據在寫入桶的同時同步寫入緩存,從而消除首次讀取的緩存未命中懲罰,使檢查點恢復速度提升 2.2 倍。該功能推出一年內,部署量增長了 20 倍,目前承載了 Cloud Storage 全球出口流量的 20%。前沿 AI/ML 客户如 Anthropic 也在使用 Rapid Cache。

在案例分享中,Thinking Machines Lab 的技術人員 James Sun 介紹了他們如何通過 Rapid Cache 解決基礎設施挑戰。該公司的數據密集型工作負載(如 Dataflow、Kafka、Spark 以及多模型訓練)面臨樞紐-輻式數據架構管理和突發流量導致的 429 錯誤等問題。集成 Rapid Cache 後,他們實現了穩定的讀取吞吐量峯值超過 1.8TB/s,減少了尾延遲和 429 錯誤,並通過多區域桶實現了全集羣擴展,同時利用層級命名空間(HNS)優化了 Spark 工作負載。

無論是數據準備、大規模訓練還是低延遲推理,Cloud Storage Rapid 都能提供高性能與可靠性的結合。Rapid Bucket 適用於對讀寫性能要求最高的場景,如分析、AI 訓練和模型服務;Rapid Cache 則適合需要更高讀取帶寬和穩定尾延遲的現有存儲桶。用户可根據需求選擇合適的加速方案。