产品经理手册：如何成功将AI功能部署到生产环境

从演示到生产的“死亡谷”是AI功能开发中的常见挑战。许多团队在原型演示中看到完美结果，却在上线前遭遇延迟飙升、模型幻觉、A/B测试无显著提升等问题。实际上，这更多是工程纪律问题，而非模型本身。本文总结了产品经理在部署AI功能时的关键经验。

延迟预算是首要考虑。LLM推理需要500毫秒至50秒不等，而消费者产品期望200毫秒内响应。常见的错误是只关注p50延迟，忽略p90。应针对交互类型定义预算：同步交互（用户等待）需1秒内；渐进交互（流式输出）需首token 500毫秒内、完整响应5秒内；异步交互（用户可继续操作）可接受20秒。还需单独测量冷启动，并考虑完整流水线（预处理、推理、后处理、交付）的延迟。积极使用流式输出可改善用户感知。

优雅回退设计至关重要。AI故障方式新颖且不可预测，回退需分层：模型回退（主模型失败时切换更简单可靠的模型）、缓存回退（为相似查询提供缓存）、模板回退（完全失败时使用预写模板）、优雅省略（最好不显示AI功能而非显示错误版本）。原则是用户应永远不遇到未处理的AI故障。

质量评估需打破传统软件的二元思维。采用四层金字塔：第一层安全（必需，自动分类器覆盖100%输出）；第二层事实正确性（领域相关，通过领域评估套件测量）；第三层有用性（以用户为中心，跟踪接受率、编辑距离等）；第四层愉悦感（最难测量，但影响采纳）。

A/B测试面临非确定性输出的挑战：组内方差使所需样本量增大3-5倍。需同时衡量参与度和质量，并考虑时间效应（学习曲线或新奇效应）。建议为AI实验分配2-3倍时间和流量，使用贝叶斯方法，并配以定性研究。

模型漂移监控是长期运行的关键。数据漂移、提供者漂移（如GPT-4行为变化）和评估漂移都需关注。至少应每天自动化评估1-5%生产流量，每周分析输入分布，每月人工评估100-500个样本。

评估框架需结合自动化和人工：自动化使用500-2000个标注样本的黄金数据集，目标与人类判断85%一致；人工评估需5-7名评估者，每周开发中运行，每月生产运行。模型作为裁判是可行的折中方案。

优雅降级设计：定义能力等级（例如5级完整能力，4级延迟，3级仅基础），降级应平滑且尽可能无形。当降级显著时，主动沟通比默默推送低质量输出更建立信任。

提示工程视为软件工程：使用版本控制、参数化提示、维护200-500个回归测试用例，并在生产环境中监控提示性能（接受率、用户编辑、重新生成请求）。提示变更前需进行金丝雀部署。

最后，这些系统并非可选附加，而是AI产品成功的必要条件。通过严谨的工程纪律，AI功能才能真正发挥价值。