跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

自動擴縮容計劃:為可預測流量減少冷啟動延遲

文章摘要

Baseten 推出自動擴縮容計劃功能,允許在可預測的流量高峰前提前增加副本,從而減少冷啟動延遲。每個環境最多可配置 10 個計劃,支援每日、每小時或一次性時間視窗,透過儀表板、CLI 或管理 API 設定。

自動擴縮容計劃:為可預測流量減少冷啟動延遲
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

自動擴縮容計劃(Autoscaling schedules)是 Baseten 於 2026 年 10 月 30 日釋出的一項功能,目的是減少冷啟動帶來的延遲,讓可預期的流量高峰不再被等待時間拖慢。其核心思路很直接:在流量真正到達之前,提前把副本數量提升起來,這樣請求就不必在冷啟動中排隊等待。

自動擴縮容本身會根據流入流量調整副本數量。當需求上升時,新副本並不是立刻就能處理請求的,它需要經歷一段冷啟動時間,其中包括分配計算資源、啟動服務軟體以及載入模型。凡是落在冷啟動期間的請求,端到端響應時間都會被拉長。自動擴縮容計劃正是針對這一環節:它允許你在流量到來前就啟動額外的副本,從而把這段等待時間從使用者側挪走。

這項工作負載在現實中往往具有明顯的可預測性,而計劃功能讓這種可預測性變成可操作的配置。你可以讓某個計劃按週期重複,例如每個工作日的早晨;也可以讓它只執行一次,例如在產品釋出之前。這樣一來,團隊不必再維護一個外部的 cron 任務去定時修改擴縮容配置,相關調整可以直接在平臺內完成。

典型的使用場景包括兩類。第一類是週期性峰值:在工作時段提高最小副本數,在夜間再降下來。文章給出的例子是會議轉錄應用,它可以在會議開始前擴容,在高峰結束後再縮容。第二類是計劃性事件:為產品釋出、負載測試,或遷移到新部署臨時增加容量。

每個計劃都會定義一個時間視窗,以及該視窗內的最小副本數和最大副本數。最小副本數決定自動擴縮容器在該視窗內始終保有的副本下限,最大副本數則限制它總共可以執行多少副本。當沒有任何計劃處於活動狀態時,環境會回退到預設設定。

配置規則也很明確:每個環境最多可以建立 10 個計劃,並且所有計劃共用同一個時區。視窗可以選擇按天、按小時,或一次性執行。視窗之間不能重疊,且每個視窗至少持續五分鐘。配置入口有三個,分別是儀表盤、CLI 和 Management API。

總體來看,自動擴縮容計劃把“容量準備”從被動響應變成了主動安排,尤其適合流量模式穩定的生產環境。它並不改變自動擴縮容的基本機制,而是在時間維度上增加了可控的前置調節手段,讓團隊能夠圍繞已知的需求節奏提前佈局算力。

展開要點與分析

文章情報

工程師進階

要點

  • 自動擴縮容計劃可在流量到來前提前啟動副本,減少冷啟動延遲。
  • 每個環境最多支援 10 個計劃,時間視窗不可重疊且至少持續 5 分鐘。
  • 適用於週期性高峰(如工作日早晨)和計劃性事件(如產品釋出)。

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。