線上與離線AI評估：何時使用每種方式

AI代理因其非確定性特質，容易在系統中引發問題。相同的輸入可能產生不同輸出，部分輸出可能導致不良後果。評估是監控和衡量AI系統效能的關鍵手段，但如何以及何時測試和評分你的代理？本文將介紹兩種模式：離線評估和線上評估，並詳細分析它們的優缺點及適用場景。

簡而言之，離線評估在部署前對固定資料集進行評分，相當於AI的單元測試；線上評估則在生產環境中對每次互動即時評分。多數團隊會同時使用兩者：離線用於捕捉迴歸，線上用於測量真實表現。離線評估作為預部署門禁，線上評估則觀察真實使用者行為。

一個完善的評估系統包含三個核心元件：資料集、分拆測試和評分。資料集可以是即時資料流或靜態檔案；分拆實驗允許同時測試不同模型或提示；評分函式可採用LLM作為裁判、演算法（如成本、速度）或基於訊號（如使用者反饋）。定義評分標準是評估系統的關鍵，需捕捉多個維度以全面瞭解代理表現。

離線評估使用靜態“金標準”資料集，在CI中執行，確保變更不引入迴歸。例如，可以在本地或CI管道中對已知輸入進行靜態評估。但其範圍受限：靜態資料集中的少量示例無法代表生產環境中的真實分佈，容易遺漏未預設的情況。此外，維護資料集需要持續投入：必須有人構建、保持代表性，並在每次產品變化時重新整理。如果疏於維護，資料集會過時，綠色測試套件可能認證代理數月未表現的行為。離線評估還只能單次執行，僅覆蓋你選擇的輸入，無法反映未包含的情況。

線上評估則採用不同方法：在生產中對每次代理互動即時評分。這帶來兩大優勢：第一，評分基於真實資料而非合成測試；第二，評分數量更大，訊號更準確。在Inngest平臺上，線上評估具有結構優勢：Inngest已持久執行和編排代理，每一步、重試和結果都持久化。因此，評估所需資料已經存在，評分只需讀取平臺已儲存的執行記錄，無需另建系統。此外，還可以對即時資料進行分拆實驗：例如，同時測試GPT和Claude，一旦某模型勝出，即可將流量路由到獲勝者。

下表總結了兩種評估的關鍵差異：資料來源方面，離線使用固定“金標準”資料集，線上使用即時生產流量；執行時機上，離線在部署前或CI中執行，線上持續執行；訊號質量上，離線狹窄可控，線上高容量真實；離線能在使用者看到前捕捉迴歸，線上不能；離線不提供真實結果訊號，線上提供包括延遲評分；維護成本上，離線需人工重新整理，線上低效能分支自動淘汰。

總之，離線評估是預部署的安全網，線上評估是真實效能的度量衡。兩者結合提供全面的AI效能檢視，幫助團隊在快速迭代的同時確保質量。