Kalytera – AIエージェントの失敗理由を伝える、単なる失敗通知ではない

Kalyteraは、AIエージェントの本番稼働に特化した品質評価プラットフォームです。たった1行のコードを追加するだけで、エージェントの各ステップを自動追跡し、正確性、目標整合性、判断品質、完全性の4つの次元で独立してスコアリングします。従来の評価ツールはトラフィックの1～10%しかサンプリングせず、最終出力のみをチェックするため、中間ステップで発生したエラーが見落とされがちです。Kalyteraは100%のセッションをカバーし、無限ループや連鎖的なツールエラーなどの高コスト障害も確実に捕捉します。

同プラットフォームの中核機能は、ステップレベルのスコアリング、根本原因分析、そして障害パターンの自動クラスタリングです。例えば、支払いポリシーAPIがタイムアウトした場合、Kalyteraは「ステップ3でツール呼び出しが8秒でタイムアウト。エージェントは応答なしで続行し、根拠のない返金承認を顧客に伝えた」と平易な英語で報告します。さらに、同じ根本原因を持つ障害を自動的にグループ化し、頻度順にランク付け、週ごとの悪化傾向にフラグを立てます。

Kalyteraの開発背景には、企業におけるAIエージェントの深刻な課題があります。Sinch Researchの2026年の調査（2,527名の上級意思決定者対象）によると、74%の企業がガバナンス障害により本番エージェントをロールバックした経験があり、その割合は最も厳格なガードレールを導入している組織で81%に達します。PalantirのCEOアレックス・カープは2026年7月1日のCNBCインタビューで、「企業は価値を生み出さないトークンに巨額を支払っている」と述べています。また、ある事例では、4つの本番エージェントのうち2つが無限ループに入り、11日間で47,000ドルのAPIコストが発生しましたが、誰も気づきませんでした。

Kalyteraのアプローチは3つの柱から成ります。まず「すべてをトレース」：kalytera.trace()は5ms未満で完了し、ブロックしません。すべてのセッションの全ステップを記録します。次に「ステップレベルのスコアリング」：各ステップを独立して評価し、障害の発生源を特定します。最後に「損失パターン」：1時間ごとにパターン検出を実行し、繰り返し発生する障害を自動的にクラスタリングします。30日後には、チームは品質スコアの改善を定量的に示すことができます。

料金はシンプルな従量制で、無料枠は月間10,000セッションまで永久に利用可能。Starterは月49ドルで50,000セッション、Growthは月149ドルで200,000セッション、エンタープライズ版はカスタム契約でVPC内Kubernetesデプロイ、SAML SSO、SOC 2などに対応します。Kalyteraは障害分類法と評価方法論を公開しており、プロプライエタリなロックインではなく研究として位置づけています。

要約すると、Kalyteraは包括的な可観測性と実用的なインサイトを提供することで、チームがユーザーからの苦情を受ける前にエージェントの障害を発見・修正し、高コストな本番事故を回避できるようにします。これは、AIエージェントの「ブラックボックス」を透明化し、継続的な品質向上を可能にするツールです。