跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

自動擴縮容計劃:為可預測流量減少冷啓動延遲

文章摘要

Baseten 推出自動擴縮容計劃功能,允許在可預測的流量高峯前提前增加副本,從而減少冷啓動延遲。每個環境最多可配置 10 個計劃,支持每日、每小時或一次性時間窗口,通過儀表板、CLI 或管理 API 設置。

自動擴縮容計劃:為可預測流量減少冷啓動延遲
報告錯誤

更正渠道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

自動擴縮容計劃(Autoscaling schedules)是 Baseten 於 2026 年 10 月 30 日發佈的一項功能,目的是減少冷啓動帶來的延遲,讓可預期的流量高峯不再被等待時間拖慢。其核心思路很直接:在流量真正到達之前,提前把副本數量提升起來,這樣請求就不必在冷啓動中排隊等待。

自動擴縮容本身會根據流入流量調整副本數量。當需求上升時,新副本並不是立刻就能處理請求的,它需要經歷一段冷啓動時間,其中包括分配計算資源、啓動服務軟件以及加載模型。凡是落在冷啓動期間的請求,端到端響應時間都會被拉長。自動擴縮容計劃正是針對這一環節:它允許你在流量到來前就啓動額外的副本,從而把這段等待時間從用户側挪走。

這項工作負載在現實中往往具有明顯的可預測性,而計劃功能讓這種可預測性變成可操作的配置。你可以讓某個計劃按週期重複,例如每個工作日的早晨;也可以讓它只運行一次,例如在產品發佈之前。這樣一來,團隊不必再維護一個外部的 cron 任務去定時修改擴縮容配置,相關調整可以直接在平台內完成。

典型的使用場景包括兩類。第一類是週期性峯值:在工作時段提高最小副本數,在夜間再降下來。文章給出的例子是會議轉錄應用,它可以在會議開始前擴容,在高峯結束後再縮容。第二類是計劃性事件:為產品發佈、負載測試,或遷移到新部署臨時增加容量。

每個計劃都會定義一個時間窗口,以及該窗口內的最小副本數和最大副本數。最小副本數決定自動擴縮容器在該窗口內始終保有的副本下限,最大副本數則限制它總共可以運行多少副本。當沒有任何計劃處於活動狀態時,環境會回退到默認設置。

配置規則也很明確:每個環境最多可以創建 10 個計劃,並且所有計劃共用同一個時區。窗口可以選擇按天、按小時,或一次性運行。窗口之間不能重疊,且每個窗口至少持續五分鐘。配置入口有三個,分別是儀表盤、CLI 和 Management API。

總體來看,自動擴縮容計劃把“容量準備”從被動響應變成了主動安排,尤其適合流量模式穩定的生產環境。它並不改變自動擴縮容的基本機制,而是在時間維度上增加了可控的前置調節手段,讓團隊能夠圍繞已知的需求節奏提前佈局算力。

展開要點與分析

文章情報

工程師進階

要點

  • 自動擴縮容計劃可在流量到來前提前啓動副本,減少冷啓動延遲。
  • 每個環境最多支持 10 個計劃,時間窗口不可重疊且至少持續 5 分鐘。
  • 適用於週期性高峯(如工作日早晨)和計劃性事件(如產品發佈)。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。

自動擴縮容計劃:為可預測流量減少冷啓動延遲 | AI News Hub