持續學習代表了從靜態模型到隨每次互動演進的模型的根本轉變。傳統上，模型以季度為週期釋出，使用者在遇到問題後只能等待數月才能獲得改進。Baseten與Trajectory合作構建的推理流水線改變了這一局面：新訓練的LoRA介面卡在約一小時內即可部署為經過A/B測試且具備完整來源追蹤的生產端點。
該流水線包含多個關鍵階段。首先，訓練完成的檢查點到達儲存層。接著進行合併：介面卡被拉取併合併到基礎模型中。現代模型架構使這一看似簡單的矩陣乘法變得複雜——融合投影中Q、K、V共享底層矩陣，MXFP4量化需要尊重塊狀縮放因子，混合專家模型（MoE）中每個專家的介面卡必須獨立合併。流水線對每個合併檢查點執行架構感知的正確性檢查，因為靜默損壞的模型會毒化後續訓練。
合併後的模型透過Baseten的Truss框架打包，自動處理依賴項、執行時規範和推理配置。隨後，它在Baseten自定義推理執行時上接受驗證，包括量化範圍最佳化、RoPE縮放擴充套件上下文以及匹配草稿模型的推測解碼。在持續學習場景下，每小時都會出現新的檢查點，任何驗證失敗都會在部署前被自動捕獲，而非等到使用者發現。
部署環節體現了持續學習的關鍵創新：每個新檢查點被視為實驗變體而非版本升級。路由層在舊版本（對照組）和新版本（實驗組）之間分配流量，分割槽遙測資料以支援即時比較，僅在資料證明優勢時進行推廣。同一路由層還處理多租戶隔離，每個模型、路由和API金鑰都限定於特定客戶。
端點上線後，每個請求都記錄完整來源：響應模型版本、部署時間和訓練輪次。推理不再是終點，而是下一輪訓練的資料來源。整個流水線端到端執行約一小時，這足以維持訓練的有效性，但團隊仍在努力進一步縮短時間。
未來面臨兩大挑戰：一是多LoRA服務，目標是建立基礎模型駐留架構，能夠按請求選擇介面卡，從而降低為大量客戶提供個性化模型服務的成本；二是持續訓練的草稿模型，因為離線訓練的草稿模型會隨著主模型變化而迅速失效，必須與主模型同步訓練才能保持推測解碼的效果。
隨著持續學習從研究走向產品，Baseten與Trajectory正在構建支撐這一正規化的平臺基礎設施。這只是一個開始，未來將朝著分鐘級迴圈和單一產品服務數百個不同模型的方向演進。