大语言模型（LLM）已成为现代人工智能的核心基础，但其生命周期仍受限于训练与部署之间的严格划分——部署后学习实际上停止。这一局限与通过环境交互持续适应的自然智能形成鲜明对比。在arXiv预印本《CASCADE: Case-Based Continual Adaptation for Large Language Models During Deployment》中，研究团队正式定义了部署时学习（DTL）作为LLM生命周期的第三阶段，使LLM代理能够在部署期间通过经验改进而无需修改模型参数。
为此，他们提出了CASCADE（部署期间的基于案例的持续适应）框架，这是一个通用且原则性的框架，为LLM代理配备显式且不断演变的情景记忆。CASCADE将经验复用表述为上下文赌博机问题，实现了原则性的探索-利用权衡，并建立了长期交互的无遗憾保证。这种设计使代理能够积累、选择和精炼任务相关案例，将过去经验转化为可操作知识。
在涵盖医疗诊断、法律分析、代码生成、网络搜索、工具使用和具身交互等16项不同任务的实验中，CASCADE相比零样本提示将宏观平均成功率提高了20.9%，同时持续优于基于梯度和基于记忆的基线方法。通过将部署重新构想为自适应学习过程，这项工作为持续改进AI系统奠定了基础。该框架特别强调无需参数更新，仅通过案例记忆的增量和选择机制实现自适应，这在实际部署中具有重要优势，因为模型参数通常固定且无法频繁更新。实验结果显示，CASCADE在长期交互中能够稳定积累知识，并在新任务上快速适应，展现了持续学习的潜力。此外，作者还提供了理论保证，证明该算法的无遗憾性质，确保了在不确定环境下的可靠性能。这一工作填补了LLM部署后学习能力的空白，为未来构建终身学习AI系统提供了新范式。