產品經理手冊：如何成功將AI功能部署到生產環境

從演示到生產的“死亡谷”是AI功能開發中的常見挑戰。許多團隊在原型演示中看到完美結果，卻在上線前遭遇延遲飆升、模型幻覺、A/B測試無顯著提升等問題。實際上，這更多是工程紀律問題，而非模型本身。本文總結了產品經理在部署AI功能時的關鍵經驗。

延遲預算是首要考慮。LLM推理需要500毫秒至50秒不等，而消費者產品期望200毫秒內響應。常見的錯誤是隻關注p50延遲，忽略p90。應針對互動型別定義預算：同步互動（使用者等待）需1秒內；漸進互動（流式輸出）需首token 500毫秒內、完整響應5秒內；非同步互動（使用者可繼續操作）可接受20秒。還需單獨測量冷啟動，並考慮完整流水線（預處理、推理、後處理、交付）的延遲。積極使用流式輸出可改善使用者感知。

優雅回退設計至關重要。AI故障方式新穎且不可預測，回退需分層：模型回退（主模型失敗時切換更簡單可靠的模型）、快取回退（為相似查詢提供快取）、模板回退（完全失敗時使用預寫模板）、優雅省略（最好不顯示AI功能而非顯示錯誤版本）。原則是使用者應永遠不遇到未處理的AI故障。

質量評估需打破傳統軟體的二元思維。採用四層金字塔：第一層安全（必需，自動分類器覆蓋100%輸出）；第二層事實正確性（領域相關，透過領域評估套件測量）；第三層有用性（以使用者為中心，跟蹤接受率、編輯距離等）；第四層愉悅感（最難測量，但影響採納）。

A/B測試面臨非確定性輸出的挑戰：組內方差使所需樣本量增大3-5倍。需同時衡量參與度和質量，並考慮時間效應（學習曲線或新奇效應）。建議為AI實驗分配2-3倍時間和流量，使用貝葉斯方法，並配以定性研究。

模型漂移監控是長期執行的關鍵。資料漂移、提供者漂移（如GPT-4行為變化）和評估漂移都需關注。至少應每天自動化評估1-5%生產流量，每週分析輸入分佈，每月人工評估100-500個樣本。

評估框架需結合自動化和人工：自動化使用500-2000個標註樣本的黃金資料集，目標與人類判斷85%一致；人工評估需5-7名評估者，每週開發中執行，每月生產執行。模型作為裁判是可行的折中方案。

優雅降級設計：定義能力等級（例如5級完整能力，4級延遲，3級僅基礎），降級應平滑且儘可能無形。當降級顯著時，主動溝通比默默推送低質量輸出更建立信任。

提示工程視為軟體工程：使用版本控制、引數化提示、維護200-500個迴歸測試用例，並在生產環境中監控提示效能（接受率、使用者編輯、重新生成請求）。提示變更前需進行金絲雀部署。

最後，這些系統並非可選附加，而是AI產品成功的必要條件。透過嚴謹的工程紀律，AI功能才能真正發揮價值。