智能體AI飛輪

本文提出智能體系統的生命週期分為預生產和持續循環兩個階段。預生產階段定義問題、概念驗證、設定性能指標並構建初始評估集。持續循環階段（智能體AI飛輪）包括：部署、觀察、診斷、改進，然後再次部署。診斷階段的評估優先原則是關鍵：一旦發現錯誤模式，立即編寫評估，而不是等待修復。這確保了評估集的增長與錯誤發現速度同步，而非工程速度。文章還詳細介紹了五種評估類型：引文驗證、工具使用正確性、檢索召回@k、模式驗證和LLM作為裁判。