在线与离线AI评估：何时使用每种方式

AI代理因其非确定性特质，容易在系统中引发问题。相同的输入可能产生不同输出，部分输出可能导致不良后果。评估是监控和衡量AI系统性能的关键手段，但如何以及何时测试和评分你的代理？本文将介绍两种模式：离线评估和在线评估，并详细分析它们的优缺点及适用场景。

简而言之，离线评估在部署前对固定数据集进行评分，相当于AI的单元测试；在线评估则在生产环境中对每次交互实时评分。多数团队会同时使用两者：离线用于捕捉回归，在线用于测量真实表现。离线评估作为预部署门禁，在线评估则观察真实用户行为。

一个完善的评估系统包含三个核心组件：数据集、分拆测试和评分。数据集可以是实时数据流或静态文件；分拆实验允许同时测试不同模型或提示；评分函数可采用LLM作为裁判、算法（如成本、速度）或基于信号（如用户反馈）。定义评分标准是评估系统的关键，需捕捉多个维度以全面了解代理表现。

离线评估使用静态“金标准”数据集，在CI中运行，确保变更不引入回归。例如，可以在本地或CI管道中对已知输入进行静态评估。但其范围受限：静态数据集中的少量示例无法代表生产环境中的真实分布，容易遗漏未预设的情况。此外，维护数据集需要持续投入：必须有人构建、保持代表性，并在每次产品变化时重新整理。如果疏于维护，数据集会过时，绿色测试套件可能认证代理数月未表现的行为。离线评估还只能单次运行，仅覆盖你选择的输入，无法反映未包含的情况。

在线评估则采用不同方法：在生产中对每次代理交互实时评分。这带来两大优势：第一，评分基于真实数据而非合成测试；第二，评分数量更大，信号更准确。在Inngest平台上，在线评估具有结构优势：Inngest已持久运行和编排代理，每一步、重试和结果都持久化。因此，评估所需数据已经存在，评分只需读取平台已保存的运行记录，无需另建系统。此外，还可以对实时数据进行分拆实验：例如，同时测试GPT和Claude，一旦某模型胜出，即可将流量路由到获胜者。

下表总结了两种评估的关键差异：数据源方面，离线使用固定“金标准”数据集，在线使用实时生产流量；运行时机上，离线在部署前或CI中运行，在线持续运行；信号质量上，离线狭窄可控，在线高容量真实；离线能在用户看到前捕捉回归，在线不能；离线不提供真实结果信号，在线提供包括延迟评分；维护成本上，离线需人工刷新，在线低性能分支自动淘汰。

总之，离线评估是预部署的安全网，在线评估是真实性能的度量衡。两者结合提供全面的AI性能视图，帮助团队在快速迭代的同时确保质量。