在線與離線AI評估：何時使用每種方式

AI代理因其非確定性特質，容易在系統中引發問題。相同的輸入可能產生不同輸出，部分輸出可能導致不良後果。評估是監控和衡量AI系統性能的關鍵手段，但如何以及何時測試和評分你的代理？本文將介紹兩種模式：離線評估和在線評估，並詳細分析它們的優缺點及適用場景。

簡而言之，離線評估在部署前對固定數據集進行評分，相當於AI的單元測試；在線評估則在生產環境中對每次交互實時評分。多數團隊會同時使用兩者：離線用於捕捉迴歸，在線用於測量真實表現。離線評估作為預部署門禁，在線評估則觀察真實用户行為。

一個完善的評估系統包含三個核心組件：數據集、分拆測試和評分。數據集可以是實時數據流或靜態文件；分拆實驗允許同時測試不同模型或提示；評分函數可採用LLM作為裁判、算法（如成本、速度）或基於信號（如用户反饋）。定義評分標準是評估系統的關鍵，需捕捉多個維度以全面瞭解代理表現。

離線評估使用靜態“金標準”數據集，在CI中運行，確保變更不引入迴歸。例如，可以在本地或CI管道中對已知輸入進行靜態評估。但其範圍受限：靜態數據集中的少量示例無法代表生產環境中的真實分佈，容易遺漏未預設的情況。此外，維護數據集需要持續投入：必須有人構建、保持代表性，並在每次產品變化時重新整理。如果疏於維護，數據集會過時，綠色測試套件可能認證代理數月未表現的行為。離線評估還只能單次運行，僅覆蓋你選擇的輸入，無法反映未包含的情況。

在線評估則採用不同方法：在生產中對每次代理交互實時評分。這帶來兩大優勢：第一，評分基於真實數據而非合成測試；第二，評分數量更大，信號更準確。在Inngest平台上，在線評估具有結構優勢：Inngest已持久運行和編排代理，每一步、重試和結果都持久化。因此，評估所需數據已經存在，評分只需讀取平台已保存的運行記錄，無需另建系統。此外，還可以對實時數據進行分拆實驗：例如，同時測試GPT和Claude，一旦某模型勝出，即可將流量路由到獲勝者。

下表總結了兩種評估的關鍵差異：數據源方面，離線使用固定“金標準”數據集，在線使用實時生產流量；運行時機上，離線在部署前或CI中運行，在線持續運行；信號質量上，離線狹窄可控，在線高容量真實；離線能在用户看到前捕捉迴歸，在線不能；離線不提供真實結果信號，在線提供包括延遲評分；維護成本上，離線需人工刷新，在線低性能分支自動淘汰。

總之，離線評估是預部署的安全網，在線評估是真實性能的度量衡。兩者結合提供全面的AI性能視圖，幫助團隊在快速迭代的同時確保質量。