Intencion – 产品分析持续改进您的AI代理

Intencion 是一款专注于AI代理的产品分析工具，旨在帮助团队持续改进其代理性能。它能够端到端地捕获每一次运行，包括用户期望、代理采取的步骤以及最终结果。通过这种方式，团队可以轻松识别最大的问题，并构建用户反复请求的功能，从而每周都让代理变得更好。

该工具专为运行面向用户的生产环境代理的团队设计，尤其是在支持和运营领域。一次失败的运行可能意味着一个真实的工单或收入损失。Intencion 的安装非常简单，只需一行代码即可完成，捕获一次调用大约只需1毫秒，并在后台刷新，因此模型响应在发送任何数据之前就能返回，对请求路径零附加延迟。

Intencion 的独特之处在于它不仅仅是可观测性工具。可观测性告诉你模型运行了，而 Intencion 告诉你用户是否得到了他们想要的东西，以及应该构建什么来让更多用户满意。它将每个运行映射到用户意图，并按照意图分组，显示每个意图的解决率。同时，它会识别失败模式，将失败和放弃的运行按原因分组并排序，让团队能够首先修复最大的问题。此外，Intencion 还能显示用户反复请求但代理尚无法处理的功能，这直接来自真实使用情况，为团队提供了路线图。

该工具与现有技术栈共存，既可配合追踪工具（如 Langfuse、LangSmith、Datadog），也可配合产品分析工具（如 Amplitude、PostHog）。团队只需添加一行代码，无需更改现有工作流程。Intencion 默认私有，在存储前会清除电子邮件、姓名和信用卡号等敏感信息。

通过 Intencion，团队可以定义成功的标准，而不是依赖模型猜测。一次运行返回即成功，抛出即失败，且错误消息成为原因。如果需要更细致的判断，可以自行设置。这种确定性使得每次重放结果相同，无需分类器监控或追求准确率。

总之，Intencion 通过捕获用户意图、代理步骤和结果，帮助团队优先处理最重要的问题和请求，形成一个持续改进的循环。每周修复最大的问题，推出用户最需要的新功能，代理的性能就会不断提升。