对话代理的多维评估操作化：一种可扩展、可管控的流水线，支持选择性重新评估和模型基准测试
本文提出GenAI Evaluation，一种配置驱动的流水线，用于大规模评估零售对话系统。通过规范化、分片、异步执行和模式约束的LLM评分，评估有帮助性、真实性、清晰度、语气一致性和翻译维度。选择性重新评估仅处理无效记录，支持模式锁定和版本化配置。每日处理约5万条记录，已评估超200万次交互。在12,980条人工标注记录上取得宏F1 0.93和翻译准确率89%。
近日，arXiv上发布了一篇题为《Operationalising Multi-Dimensional Evaluation for Conversational Agents: A Scalable, Governed Pipeline with Selective Re-evaluation and Model Benchmarking》的论文（编号：2607.12085），提出了一种名为GenAI Evaluation的流水线，专门用于零售领域对话代理的多维度评估。传统的基于词汇重叠的指标（如BLEU和ROUGE）在评估对话系统时存在明显不足，无法捕捉意图对齐、事实性、有帮助性、清晰度、语气以及整体回复质量等关键维度。虽然LLM作为评判者的方法提供了一种可扩展的替代方案，但在实际生产部署中却面临着一系列挑战，包括治理、可重复性、成本、模式一致性、可追溯性和可靠性等。GenAI Evaluation正是为了应对这些挑战而设计的。
该流水线采用配置驱动的方式，通过规范化、分片、异步执行以及模式约束的LLM评分来处理生产环境中的聊天机器人日志。评估维度覆盖有帮助性、真实性、清晰度、语气一致性以及与翻译相关的指标。一个关键的创新点是选择性重新评估机制：它只对不完整、格式错误或模式无效的记录进行重新处理，从而大大节省计算资源。此外，模式锁定、版本化配置、验证日志和记录级溯源等功能确保了系统的可审计性。
在实际应用中，该流水线每天处理约5万条记录，迄今已累计评估超过200万次交互。为了验证其有效性，研究团队从实际日志中分层随机抽取了12,980条记录，由四名经过训练的标注员进行人工标注。标注的分类体系涵盖14个意图、156个子意图、18个主要领域和129个子领域。实验结果显示，该流水线在整体分类任务上取得了0.93的宏F1分数，在翻译质量评估上达到了89%的人类可接受度准确率。论文还提供了详细的架构设计图和实验结果表格，充分展示了该流水线在零售对话系统评估中的潜力和实用性。