Intencion – 產品分析持續改進您的AI代理

Intencion 是一款專注於AI代理的產品分析工具，旨在幫助團隊持續改進其代理性能。它能夠端到端地捕獲每一次運行，包括用户期望、代理採取的步驟以及最終結果。通過這種方式，團隊可以輕鬆識別最大的問題，並構建用户反覆請求的功能，從而每週都讓代理變得更好。

該工具專為運行面向用户的生產環境代理的團隊設計，尤其是在支持和運營領域。一次失敗的運行可能意味着一個真實的工單或收入損失。Intencion 的安裝非常簡單，只需一行代碼即可完成，捕獲一次調用大約只需1毫秒，並在後台刷新，因此模型響應在發送任何數據之前就能返回，對請求路徑零附加延遲。

Intencion 的獨特之處在於它不僅僅是可觀測性工具。可觀測性告訴你模型運行了，而 Intencion 告訴你用户是否得到了他們想要的東西，以及應該構建什麼來讓更多用户滿意。它將每個運行映射到用户意圖，並按照意圖分組，顯示每個意圖的解決率。同時，它會識別失敗模式，將失敗和放棄的運行按原因分組並排序，讓團隊能夠首先修復最大的問題。此外，Intencion 還能顯示用户反覆請求但代理尚無法處理的功能，這直接來自真實使用情況，為團隊提供了路線圖。

該工具與現有技術棧共存，既可配合追蹤工具（如 Langfuse、LangSmith、Datadog），也可配合產品分析工具（如 Amplitude、PostHog）。團隊只需添加一行代碼，無需更改現有工作流程。Intencion 默認私有，在存儲前會清除電子郵件、姓名和信用卡號等敏感信息。

通過 Intencion，團隊可以定義成功的標準，而不是依賴模型猜測。一次運行返回即成功，拋出即失敗，且錯誤消息成為原因。如果需要更細緻的判斷，可以自行設置。這種確定性使得每次重放結果相同，無需分類器監控或追求準確率。

總之，Intencion 通過捕獲用户意圖、代理步驟和結果，幫助團隊優先處理最重要的問題和請求，形成一個持續改進的循環。每週修復最大的問題，推出用户最需要的新功能，代理的性能就會不斷提升。