智慧體AI飛輪

本文深入探討了智慧體AI系統的生命週期，特別是“智慧體AI飛輪”的概念。作者Aurimas Griciūnas在SwirlAI通訊中提出，大多數智慧體系統最初只帶有一小部分評估集，但生產中的失敗模式往往超出預期，導致除錯依賴使用者投訴。有效的解決方案是建立一個生命週期，將流量轉化為評估，將漂移轉化為訊號，將意外錯誤模式轉化為迴歸測試。

系統生命週期分為兩半：預生產階段和持續迴圈階段。預生產階段包括四個步驟：定義問題（明確智慧體的目標和正確結果的標準）、概念驗證（快速實現以確認可行性）、設定效能指標（如業務指標，而非LLM評估指標）、構建包含初始評估集的原型（透過合成資料或歷史人工工作生成）。這一階段的目標是讓系統在沒有明顯缺陷的情況下上線。

持續迴圈階段則是真正的飛輪：部署、觀察、診斷、改善，然後再次部署。部署時，系統暴露給真實使用者，開始收集追蹤和反饋，同時也面臨系統漂移。觀察階段利用追蹤、反饋和監控評估來識別問題。診斷階段將反饋資料聚類為命名的錯誤模式，併為每個模式編寫評估。改善階段基於評估結果進行系統改進。

診斷階段的“評估優先”原則是核心：一旦發現錯誤模式，立即編寫評估，而不是等待修復。這確保了評估集的增長速度與錯誤發現速度一致，而非工程速度。作者強調，這種做法與測試驅動開發類似：先寫失敗的測試，再安排修復，最後在CI中驗證。如果反過來（先修復後評估），將無法驗證修復是否真的解決問題，評估也容易被忽略，甚至評估會描述修復而非原始錯誤，失去泛化能力。此外，評估優先策略還能將延遲修復的錯誤模式轉化為“靜默勝出檢測器”：當後續無關變更意外使其透過時，CI能及時捕獲。

文章列舉了五種常見評估型別：引文驗證（確保輸出引用確實在檢索上下文中，可透過程式或LLM輔助實現）、工具使用正確性（確定性比較實際工具呼叫與預期）、檢索召回@k（衡量相關文件是否在top-k中，通常附帶DEFER標籤，因為檢索修復需要數週工作）、模式/格式驗證（確定性結構檢查，如JSON schema）、以及LLM作為裁判（帶評分標準的主觀質量評估）。作者指出，錯誤模式決定評估型別，而非團隊偏好；這些例子並非窮舉，成熟系統還需安全與策略評估、成本與延遲評估、多輪軌跡評估等。

總之，智慧體AI飛輪提供了一種系統化的方法，使AI系統在生產環境中持續改進。透過評估優先和持續觀察，團隊能夠快速發現並解決問題，同時積累評估集，為未來的改進奠定基礎。