Intencion – 產品分析持續改進您的AI代理

Intencion 是一款專注於AI代理的產品分析工具，旨在幫助團隊持續改進其代理效能。它能夠端到端地捕獲每一次執行，包括使用者期望、代理採取的步驟以及最終結果。透過這種方式，團隊可以輕鬆識別最大的問題，並構建使用者反覆請求的功能，從而每週都讓代理變得更好。

該工具專為執行面向使用者的生產環境代理的團隊設計，尤其是在支援和運營領域。一次失敗的執行可能意味著一個真實的工單或收入損失。Intencion 的安裝非常簡單，只需一行程式碼即可完成，捕獲一次呼叫大約只需1毫秒，並在後臺重新整理，因此模型響應在傳送任何資料之前就能返回，對請求路徑零附加延遲。

Intencion 的獨特之處在於它不僅僅是可觀測性工具。可觀測性告訴你模型執行了，而 Intencion 告訴你使用者是否得到了他們想要的東西，以及應該構建什麼來讓更多使用者滿意。它將每個執行對映到使用者意圖，並按照意圖分組，顯示每個意圖的解決率。同時，它會識別失敗模式，將失敗和放棄的執行按原因分組並排序，讓團隊能夠首先修復最大的問題。此外，Intencion 還能顯示使用者反覆請求但代理尚無法處理的功能，這直接來自真實使用情況，為團隊提供了路線圖。

該工具與現有技術棧共存，既可配合追蹤工具（如 Langfuse、LangSmith、Datadog），也可配合產品分析工具（如 Amplitude、PostHog）。團隊只需新增一行程式碼，無需更改現有工作流程。Intencion 預設私有，在儲存前會清除電子郵件、姓名和信用卡號等敏感資訊。

透過 Intencion，團隊可以定義成功的標準，而不是依賴模型猜測。一次執行返回即成功，丟擲即失敗，且錯誤訊息成為原因。如果需要更細緻的判斷，可以自行設定。這種確定性使得每次重放結果相同，無需分類器監控或追求準確率。

總之，Intencion 透過捕獲使用者意圖、代理步驟和結果，幫助團隊優先處理最重要的問題和請求，形成一個持續改進的迴圈。每週修復最大的問題，推出使用者最需要的新功能，代理的效能就會不斷提升。