Show HN: TruLayer – 本番LLM向けトレーシング、評価、制御ループ

TruLayer は、本番環境の AI システム向けに設計された可観測性プラットフォームであり、デモから実運用への移行時に発生する信頼性問題を解決します。分散トレーシング、自動評価、人間による承認、自動修復といったコア機能を提供し、すべての出力が厳格に検証される完全な制御ループ（control loop）を構築します。

コア機能

TruLayer は観測、評価、改善の3つのフェーズを単一パイプラインに統合します。トレーシングでは、分散トレース、障害クラスタリング、異常検知、セマンティック検索をサポートし、問題の根本原因を迅速に特定できます。設定可能なリトライ深度によりカスケード障害を防止し、リトライ上限に達したトレースは自動的に人間のレビューキューにエスカレーションされます。

評価機能には25以上のプリビルト評価器が含まれ、faithfulness、ツール呼び出しの正確性、PII漏洩、ハルシネーション検出などの重要な指標をカバーします。任意のスパンに評価ルールを設定でき、ゴールデンデータセットによるリグレッションテストやスコアトレンドのリアルタイム監視も可能です。

改善フェーズが TruLayer の独自性です。AIが提案するプロンプト最適化、セルフヒーリング操作、人間による承認、修復差分の比較を提供し、「問題発見→修正」のループを実現します。評価ルールが発動すると、制御ループは修正されたプロンプトで自動リトライするか、同じ障害パスの後続実行を人間のレビューキューにルーティングし、同じ問題が次のユーザーに影響するのを防ぎます。

ユースケース

TruLayer は様々な領域に特化したソリューションを提供します：

• カスタマーサポートエージェント：返金決定をリアルタイムでスコアリング、制御ループが自動リトライまたは人間にエスカレーション
• アウトバウンドセールスエージェント：Faithfulnessスコアで価格やコンプライアンス情報の逸脱を検出
• コーディングエージェント：関数呼び出しの正確性を評価し、ファイル誤削除やテスト改ざんを防止
• AI運用エージェント：ツール呼び出し評価で二次障害を防止
• 文書抽出エージェント：フィールド欠落や型エラーを検出、プロンプトを自動リトライ
• 財務レポートエージェント：コンテキストウィンドウのドリフトを検出し、データ正確性を確保
• 法律調査エージェント：ハルシネーション検出により引用元の信頼性を保証
• 臨床AIアシスタント：臨床Faithfulnessスコアリング、自動ルーティングで人間のレビューへ

技術アーキテクチャ

TruLayer は OTEL ネイティブ設計で、OTLP 経由でスパンを送信できるため、既存の技術スタックを書き換える必要はありません。統合は2行のコードで完了します。OpenAI、Anthropic、またはカスタム LLM クライアントをラップするだけで、入力、出力、トークン消費、レイテンシ、評価スコアを自動キャプチャします。非同期エージェント間のトレースコンテキスト伝搬もサポートし、モンキーパッチではなくプロキシベースでゼロオーバーヘッドを実現。

料金プラン

無料のStarter（100万スパン/月、3シート）、Pro（149ドル/月、2000万スパン）、Team（699ドル/月、1億スパン）、エンタープライズ向けカスタムプランを提供。年払いで20%割引。

TruLayer の目標は、AI を観測可能にするだけでなく、信頼性を高めることです。「何が壊れたか」から「修正してデプロイ完了」までをワンプラットフォームで実現します。