對話代理的多維評估操作化：一種可擴展、可管控的流水線，支持選擇性重新評估和模型基準測試
本文提出GenAI Evaluation，一種配置驅動的流水線，用於大規模評估零售對話系統。通過規範化、分片、異步執行和模式約束的LLM評分，評估有幫助性、真實性、清晰度、語氣一致性和翻譯維度。選擇性重新評估僅處理無效記錄，支持模式鎖定和版本化配置。每日處理約5萬條記錄，已評估超200萬次交互。在12,980條人工標註記錄上取得宏F1 0.93和翻譯準確率89%。
近日，arXiv上發佈了一篇題為《Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking》的論文（編號：2607.12085），提出了一種名為GenAI Evaluation的流水線，專門用於零售領域對話代理的多維度評估。傳統的基於詞彙重疊的指標（如BLEU和ROUGE）在評估對話系統時存在明顯不足，無法捕捉意圖對齊、事實性、有幫助性、清晰度、語氣以及整體回覆質量等關鍵維度。雖然LLM作為評判者的方法提供了一種可擴展的替代方案，但在實際生產部署中卻面臨着一系列挑戰，包括治理、可重複性、成本、模式一致性、可追溯性和可靠性等。GenAI Evaluation正是為了應對這些挑戰而設計的。
該流水線採用配置驅動的方式，通過規範化、分片、異步執行以及模式約束的LLM評分來處理生產環境中的聊天機器人日誌。評估維度覆蓋有幫助性、真實性、清晰度、語氣一致性以及與翻譯相關的指標。一個關鍵的創新點是選擇性重新評估機制：它只對不完整、格式錯誤或模式無效的記錄進行重新處理，從而大大節省計算資源。此外，模式鎖定、版本化配置、驗證日誌和記錄級溯源等功能確保了系統的可審計性。
在實際應用中，該流水線每天處理約5萬條記錄，迄今已累計評估超過200萬次交互。為了驗證其有效性，研究團隊從實際日誌中分層隨機抽取了12,980條記錄，由四名經過訓練的標註員進行人工標註。標註的分類體系涵蓋14個意圖、156個子意圖、18個主要領域和129個子領域。實驗結果顯示，該流水線在整體分類任務上取得了0.93的宏F1分數，在翻譯質量評估上達到了89%的人類可接受度準確率。論文還提供了詳細的架構設計圖和實驗結果表格，充分展示了該流水線在零售對話系統評估中的潛力和實用性。