持续学习代表了从静态模型到随每次交互演进的模型的根本转变。传统上，模型以季度为周期发布，用户在遇到问题后只能等待数月才能获得改进。Baseten与Trajectory合作构建的推理流水线改变了这一局面：新训练的LoRA适配器在约一小时内即可部署为经过A/B测试且具备完整来源追踪的生产端点。
该流水线包含多个关键阶段。首先，训练完成的检查点到达存储层。接着进行合并：适配器被拉取并合并到基础模型中。现代模型架构使这一看似简单的矩阵乘法变得复杂——融合投影中Q、K、V共享底层矩阵，MXFP4量化需要尊重块状缩放因子，混合专家模型（MoE）中每个专家的适配器必须独立合并。流水线对每个合并检查点运行架构感知的正确性检查，因为静默损坏的模型会毒化后续训练。
合并后的模型通过Baseten的Truss框架打包，自动处理依赖项、运行时规范和推理配置。随后，它在Baseten自定义推理运行时上接受验证，包括量化范围优化、RoPE缩放扩展上下文以及匹配草稿模型的推测解码。在持续学习场景下，每小时都会出现新的检查点，任何验证失败都会在部署前被自动捕获，而非等到用户发现。
部署环节体现了持续学习的关键创新：每个新检查点被视为实验变体而非版本升级。路由层在旧版本（对照组）和新版本（实验组）之间分配流量，分区遥测数据以支持实时比较，仅在数据证明优势时进行推广。同一路由层还处理多租户隔离，每个模型、路由和API密钥都限定于特定客户。
端点上线后，每个请求都记录完整来源：响应模型版本、部署时间和训练轮次。推理不再是终点，而是下一轮训练的数据源。整个流水线端到端运行约一小时，这足以维持训练的有效性，但团队仍在努力进一步缩短时间。
未来面临两大挑战：一是多LoRA服务，目标是建立基础模型驻留架构，能够按请求选择适配器，从而降低为大量客户提供个性化模型服务的成本；二是持续训练的草稿模型，因为离线训练的草稿模型会随着主模型变化而迅速失效，必须与主模型同步训练才能保持推测解码的效果。
随着持续学习从研究走向产品，Baseten与Trajectory正在构建支撑这一范式的平台基础设施。这只是一个开始，未来将朝着分钟级循环和单一产品服务数百个不同模型的方向演进。