Basetenは2026年10月30日、自動スケーリングスケジュール機能を発表しました。この機能は、予測可能なトラフィックパターンを持つワークロードにおいて、コールドスタート遅延を削減することを目的としています。ユーザーは、トラフィックが到着する前にレプリカ数を事前に増やすことで、リクエストがコールドスタートを待つことなく処理されるようにできます。
自動スケーリングは、受信トラフィックに合わせてレプリカ数を調整します。需要が増加すると、新しいレプリカがリクエストを処理できるようになるまでに時間がかかります。これがコールドスタート時間であり、コンピューティングリソースの割り当て、サービングソフトウェアの起動、モデルの読み込みが含まれます。コールドスタート中に待機するリクエストは、エンドツーエンドの応答時間が長くなります。自動スケーリングスケジュールは、追加のレプリカを事前に起動することで、この問題を回避します。
ユーザーは、スケジュールを繰り返し実行する（例：毎週平日の朝）か、1回限り実行する（例：製品リリース前）ように設定できます。多くのワークロードには予測可能なトラフィックがあり、自動スケーリングスケジュールを使用すると、外部のcronジョブを維持することなく、設定した時刻に自動スケーリング設定を変更できます。たとえば、会議の文字起こしアプリでは、会議が始まる前に最小レプリカ数を増やし、ピーク後に減らすことができます。製品リリース、負荷テスト、新しいデプロイへの移行などの計画的なイベントでは、一時的な容量増加をスケジュールできます。
各スケジュールは、時間枠とその枠内の最小および最大レプリカ数を設定します。最小値は、スケジュールがアクティブな間にオートスケーラーが維持する最低レプリカ数を定義します。最大値は、オートスケーラーが実行できる合計レプリカ数を制限します。アクティブなスケジュールがない場合、環境はデフォルト設定を使用します。
スケジュールを設定するには、環境ごとに最大10個のスケジュールを作成し、すべて同じタイムゾーンを使用します。毎日、毎時、または1回限りの時間枠を選択できます。時間枠は重複できず、少なくとも5分間続く必要があります。スケジュールは、ダッシュボード、CLI、またはManagement APIを使用して設定できます。
Basetenは、ダッシュボード、CLI、またはManagement APIを介してスケジュールを設定するためのセットアップガイドを提供しており、コールドスタート遅延を削減できます。また、ワークロードについてエンジニアに相談することもできます。