Intencion – AIエージェントを継続的に改善するプロダクト分析

Intencionは、AIエージェント向けに設計されたプロダクト分析ツールであり、チームがエージェントを継続的に改善できるよう支援します。各実行をエンドツーエンドでキャプチャし、ユーザーの意図、エージェントが取ったステップ、そして最終的な結果を記録します。これにより、チームは最大の問題を特定し、ユーザーが繰り返し求めている機能を構築することができ、エージェントは毎週少しずつ改善されていきます。

このツールは、特にサポートや運用において、顧客向けエージェントを本番環境で稼働させているチーム向けに構築されています。実行の失敗は、実際のチケットや収益の損失につながる可能性があります。Intencionのインストールは簡単で、1行のコードを追加するだけです。呼び出しのキャプチャには約1ミリ秒かかり、バックグラウンドでフラッシュされるため、モデルのレスポンスは何も送信される前に返されます。リクエストパスに追加のレイテンシーは発生しません。

Intencionは単なる可観測性ツールではありません。可観測性はモデルが実行されたことを示しますが、Intencionはユーザーが求めたものを得られたかどうか、そしてより多くのユーザーが満足するために何を構築すべきかを教えてくれます。各実行をユーザーの意図にマッピングし、意図ごとにグループ化して解決率を表示します。また、失敗のパターンを特定し、失敗や放棄された実行を原因ごとにグループ化して頻度順にランク付けするため、チームは最大の問題から優先的に修正できます。さらに、エージェントがまだ処理できないものの、ユーザーが繰り返し求めている要求を表示し、実際の使用状況からロードマップを提供します。

Intencionは既存のスタックと共存します。トレーシングツール（Langfuse、LangSmith、Datadog）やプロダクト分析ツール（Amplitude、PostHog）と併用でき、1行コードを追加するだけで既存のワークフローを変更する必要はありません。デフォルトでプライバシーが保護され、メールアドレス、名前、クレジットカード番号などの機密情報は保存前に削除されます。

Intencionを使用すると、チームは成功を自分たちで定義できます。モデルが推測するのではなく、実行が返されれば成功、スローされれば失敗で、エラーメッセージが理由となります。より細かい判断が必要な場合は、自分で設定できます。この決定論的なアプローチにより、毎回同じ結果が得られ、分類器を監視したり精度率を追求する必要はありません。

要約すると、Intencionはユーザーの意図、エージェントのステップ、結果をキャプチャし、チームが最も重要な問題と要求に優先順位を付けることで、継続的な改善のループを実現します。毎週最大の問題を修正し、ユーザーが求めている新機能をリリースすることで、エージェントのパフォーマンスは着実に向上します。