跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

自动扩缩容计划:为可预测流量减少冷启动延迟

文章摘要

Baseten 推出自动扩缩容计划功能,允许在可预测的流量高峰前提前增加副本,从而减少冷启动延迟。每个环境最多可配置 10 个计划,支持每日、每小时或一次性时间窗口,通过仪表板、CLI 或管理 API 设置。

自动扩缩容计划:为可预测流量减少冷启动延迟
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

自动扩缩容计划(Autoscaling schedules)是 Baseten 于 2026 年 10 月 30 日发布的一项功能,目的是减少冷启动带来的延迟,让可预期的流量高峰不再被等待时间拖慢。其核心思路很直接:在流量真正到达之前,提前把副本数量提升起来,这样请求就不必在冷启动中排队等待。

自动扩缩容本身会根据流入流量调整副本数量。当需求上升时,新副本并不是立刻就能处理请求的,它需要经历一段冷启动时间,其中包括分配计算资源、启动服务软件以及加载模型。凡是落在冷启动期间的请求,端到端响应时间都会被拉长。自动扩缩容计划正是针对这一环节:它允许你在流量到来前就启动额外的副本,从而把这段等待时间从用户侧挪走。

这项工作负载在现实中往往具有明显的可预测性,而计划功能让这种可预测性变成可操作的配置。你可以让某个计划按周期重复,例如每个工作日的早晨;也可以让它只运行一次,例如在产品发布之前。这样一来,团队不必再维护一个外部的 cron 任务去定时修改扩缩容配置,相关调整可以直接在平台内完成。

典型的使用场景包括两类。第一类是周期性峰值:在工作时段提高最小副本数,在夜间再降下来。文章给出的例子是会议转录应用,它可以在会议开始前扩容,在高峰结束后再缩容。第二类是计划性事件:为产品发布、负载测试,或迁移到新部署临时增加容量。

每个计划都会定义一个时间窗口,以及该窗口内的最小副本数和最大副本数。最小副本数决定自动扩缩容器在该窗口内始终保有的副本下限,最大副本数则限制它总共可以运行多少副本。当没有任何计划处于活动状态时,环境会回退到默认设置。

配置规则也很明确:每个环境最多可以创建 10 个计划,并且所有计划共用同一个时区。窗口可以选择按天、按小时,或一次性运行。窗口之间不能重叠,且每个窗口至少持续五分钟。配置入口有三个,分别是仪表盘、CLI 和 Management API。

总体来看,自动扩缩容计划把“容量准备”从被动响应变成了主动安排,尤其适合流量模式稳定的生产环境。它并不改变自动扩缩容的基本机制,而是在时间维度上增加了可控的前置调节手段,让团队能够围绕已知的需求节奏提前布局算力。

展开要点与分析

文章情报

工程师进阶

要点

  • 自动扩缩容计划可在流量到来前提前启动副本,减少冷启动延迟。
  • 每个环境最多支持 10 个计划,时间窗口不可重叠且至少持续 5 分钟。
  • 适用于周期性高峰(如工作日早晨)和计划性事件(如产品发布)。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。