AI News HubLIVE
站内改写2 分钟阅读

Cloud Storage Rapid:为AI和分析加速的对象存储

Google Cloud在Next '26上宣布了Cloud Storage Rapid系列,包括Rapid Bucket和Rapid Cache,为AI和分析工作负载提供超低延迟、高吞吐量的对象存储性能。

来源Hacker News AI作者: leg

Google Cloud 在 Next '26 大会上正式发布了 Cloud Storage Rapid,这是一个专为数据密集型工作负载(如 AI 和数据分析)设计的高性能对象存储系列。该系列包含两个核心组件:Rapid Bucket(原 Rapid Storage)和 Rapid Cache(原 Anywhere Cache)。Rapid Bucket 是一种高可用性的区域对象存储,而 Rapid Cache 则能按需加速读取操作,并将计算资源与数据置于同一区域,从而优化工作负载性能。

Cloud Storage Rapid 的诞生源于 AI 时代对存储性能的严苛需求。随着企业训练万亿参数模型、在全球范围部署推理服务,以及构建能够处理海量数据的自主代理,存储系统成为了关键瓶颈。GPU 和 TPU 等加速器虽然备受关注,但它们的效率高度依赖存储系统的性能。如果 AI/ML 集群在数据读取或检查点写入时出现延迟,昂贵的计算资源就会被浪费。

Rapid Bucket 利用 Google 的分布式存储系统 Colossus(驱动 Gemini 和 YouTube 的底层技术),实现了巨大的读写性能和超低延迟。它提供亚毫秒级延迟,单区域桶可达 2000 万次查询/秒(QPS)和 15 TB/s 以上的聚合读取吞吐量。新的语义特性,如原生追加、无限读取器(写入时也可读取)和向量读取,进一步提升了性能。测试显示,Rapid Bucket 可将 GPU 阻塞时间减少 50%,数据加载速度提升 2.5 倍,检查点恢复速度加快 5 倍,写入速度提升 3.2 倍。

Rapid Cache 则专注于为现有存储桶提供更高读取带宽,无需修改代码。在推理场景中,它可实现高达 2.1 倍的模型加载加速,并节省 47% 的总体拥有成本(TCO)。新推出的“写入时摄取”功能,允许数据在写入桶的同时同步写入缓存,从而消除首次读取的缓存未命中惩罚,使检查点恢复速度提升 2.2 倍。该功能推出一年内,部署量增长了 20 倍,目前承载了 Cloud Storage 全球出口流量的 20%。前沿 AI/ML 客户如 Anthropic 也在使用 Rapid Cache。

在案例分享中,Thinking Machines Lab 的技术人员 James Sun 介绍了他们如何通过 Rapid Cache 解决基础设施挑战。该公司的数据密集型工作负载(如 Dataflow、Kafka、Spark 以及多模型训练)面临枢纽-辐式数据架构管理和突发流量导致的 429 错误等问题。集成 Rapid Cache 后,他们实现了稳定的读取吞吐量峰值超过 1.8TB/s,减少了尾延迟和 429 错误,并通过多区域桶实现了全集群扩展,同时利用层级命名空间(HNS)优化了 Spark 工作负载。

无论是数据准备、大规模训练还是低延迟推理,Cloud Storage Rapid 都能提供高性能与可靠性的结合。Rapid Bucket 适用于对读写性能要求最高的场景,如分析、AI 训练和模型服务;Rapid Cache 则适合需要更高读取带宽和稳定尾延迟的现有存储桶。用户可根据需求选择合适的加速方案。