Voker：AIプロダクトチームのためのエージェント分析プラットフォーム

Vokerは、AIプロダクトチーム向けに設計されたエージェント分析プラットフォームです。共同創業者のTylerは物理学を学び、データサイエンスや機械学習の経験を持ち、AI業界の誇大広告に懐疑的です。彼は、実際のデータに基づいた測定なしには、エージェントの真の能力を評価できないと考えています。Vokerは、すべてのWebサイトや製品がクリック分析にAmplitudeやPostHogを使用しているのと同様に、エージェントのやり取りを標準化された方法で分析することを目指しています。

このプラットフォームは、プロバイダに依存しない軽量SDKを導入するだけで、ユーザーとエージェント間の会話データを自動収集します。具体的には、ユーザーの意図（例：「来週の土曜日にプールサイドビュー付きのラスベガスのホテルを予約して」）、修正（例：「違う、その部屋にプールサイドビューはない！！もう一度試して」）、エージェントの解決結果（例：「ツール結果：予約完了…成功！」）を自動検出します。これらの自動アノテーションにより、チームは手動でログを確認したり、ユーザーからの苦情を待ったりすることなく、エージェントの全体的なパフォーマンスとユーザー行動を把握できます。

Vokerのダッシュボードでは、リアルタイムでエージェントのパフォーマンスを監視できます。例えば、最近のプロンプト変更がホテル予約エージェントを壊している場合や、金融アドバイザーエージェントが株価照会に誤ったツールを呼び出している場合でも、ユーザーが気付く前に問題を発見できます。また、クエリ可能なタイムライン、会話の再構築、パフォーマンストラッキング機能を提供し、ユーザーが最もよく尋ねる質問やエージェントの成功率、最近の変更によるパフォーマンス低下を把握できます。

Vokerは無料ティア（月間最大2,000イベント）を提供しており、スタートアップチームでもすぐに使い始められます。Tylerは「AIの誇大広告に対する解毒剤は、エージェントを入念に測定し、データに基づいて反復改善することだ」と述べています。Vokerは、あらゆるAIインタラクションに標準化された分析を提供し、チームがより良いエージェントを構築できるよう支援することを目指しています。