持續學習代表了從靜態模型到隨每次交互演進的模型的根本轉變。傳統上，模型以季度為週期發佈，用户在遇到問題後只能等待數月才能獲得改進。Baseten與Trajectory合作構建的推理流水線改變了這一局面：新訓練的LoRA適配器在約一小時內即可部署為經過A/B測試且具備完整來源追蹤的生產端點。
該流水線包含多個關鍵階段。首先，訓練完成的檢查點到達存儲層。接着進行合併：適配器被拉取併合併到基礎模型中。現代模型架構使這一看似簡單的矩陣乘法變得複雜——融合投影中Q、K、V共享底層矩陣，MXFP4量化需要尊重塊狀縮放因子，混合專家模型（MoE）中每個專家的適配器必須獨立合併。流水線對每個合併檢查點運行架構感知的正確性檢查，因為靜默損壞的模型會毒化後續訓練。
合併後的模型通過Baseten的Truss框架打包，自動處理依賴項、運行時規範和推理配置。隨後，它在Baseten自定義推理運行時上接受驗證，包括量化範圍優化、RoPE縮放擴展上下文以及匹配草稿模型的推測解碼。在持續學習場景下，每小時都會出現新的檢查點，任何驗證失敗都會在部署前被自動捕獲，而非等到用户發現。
部署環節體現了持續學習的關鍵創新：每個新檢查點被視為實驗變體而非版本升級。路由層在舊版本（對照組）和新版本（實驗組）之間分配流量，分區遙測數據以支持實時比較，僅在數據證明優勢時進行推廣。同一路由層還處理多租户隔離，每個模型、路由和API密鑰都限定於特定客户。
端點上線後，每個請求都記錄完整來源：響應模型版本、部署時間和訓練輪次。推理不再是終點，而是下一輪訓練的數據源。整個流水線端到端運行約一小時，這足以維持訓練的有效性，但團隊仍在努力進一步縮短時間。
未來面臨兩大挑戰：一是多LoRA服務，目標是建立基礎模型駐留架構，能夠按請求選擇適配器，從而降低為大量客户提供個性化模型服務的成本；二是持續訓練的草稿模型，因為離線訓練的草稿模型會隨着主模型變化而迅速失效，必須與主模型同步訓練才能保持推測解碼的效果。
隨着持續學習從研究走向產品，Baseten與Trajectory正在構建支撐這一範式的平台基礎設施。這只是一個開始，未來將朝着分鐘級循環和單一產品服務數百個不同模型的方向演進。