Show HN：Torrix —— セルフホスト型LLM可観測性ツール（Postgres、Redis不要）
Torrixはセルフホスト型のLLM可観測性ツールで、トークン数、コスト、レイテンシ、プロンプトトレース、推論トークンの取得、PIIマスキングを追跡します。OpenAI、Anthropic、Google Geminiなど多数のプロバイダをサポート。Dockerで簡単にデプロイでき、PostgresやRedisは不要。Python、Node.js、Go、C#、JavaのSDK、LangChainコールバック、HTTPプロキシを提供。
記事インテリジェンス
要点
- PostgresやRedis不要のセルフホスト型LLM可観測性。
- トークン数、コスト、レイテンシ、プロンプトトレース、推論トークン、PIIマスキングを追跡。
- 多数のLLMプロバイダをサポートし、多言語SDKとHTTPプロキシを提供。
重要な理由
このニュースが重要なのは、PostgresやRedis不要のセルフホスト型LLM可観測性ためです。
技術的影響
モデル選定、推論コスト、プロダクト能力、評価基準に影響する可能性があります。
Torrixは、オープンソースのセルフホスト型LLM可観測性ツールであり、開発者や企業が大規模言語モデルアプリケーションを包括的に監視、デバッグ、最適化するのを支援します。各LLMリクエストについて、トークン消費量、コスト、応答レイテンシ、完全なプロンプトトレース、推論トークンの取得、および個人識別情報（PII）の自動マスキングを記録します。すべてのデータはユーザーのローカルインフラにのみ保存され、外部クラウドサービスに依存しないため、データのプライバシーとセキュリティが確保されます。
Torrixのデプロイは非常に簡単で、必要なのはDocker Desktopのみです。ユーザーはdocker-compose.ymlファイルをダウンロードし、docker compose upを実行するだけでサービスを起動できます。起動後、ブラウザでhttp://localhost:8088にアクセスしてアカウントを作成し、APIキーを取得します。TorrixはHTTPプロキシまたは公式SDKを介してLLM呼び出しをシームレスに監視プラットフォームにルーティングします。特に注目すべき点は、TorrixがPostgresやRedisなどの外部データベースを必要としないため、運用の複雑さとコストが大幅に削減されることです。
Torrixは、OpenAI、Anthropic、Google Gemini、Azure OpenAI、Groq、Mistral、DeepSeek、Perplexity、Fireworks、Together AI、Cohere、HuggingFace、Replicate、Ollamaなど、主要なLLMプロバイダを幅広くサポートしています。統合を容易にするために、Python、Node.js、Go、C# (.NET 6+)、Java (11+) のSDKを提供しています。これらのSDKはネイティブクライアントを簡単にラップし、リクエストとレスポンスのデータを自動的にキャプチャします。さらに、TorrixはLangChainユーザー向けにTorrixCallbackHandlerを提供しており、簡単な設定ですべてのLLM呼び出しを自動追跡できます。
SDKが利用できないシナリオでは、TorrixのHTTPプロキシモードを使用することで、任意の言語やツール（n8n、curl、Postmanなど）から簡単なHTTPリクエストでLLMインタラクションを記録できます。プロキシモードはカスタム実行名、プロバイダヒント、トレースID、セッションIDなどのヘッダー設定をサポートし、マルチステップのエージェント呼び出しや会話グループの可観測性を容易にします。
要約すると、TorrixはLLMアプリケーション開発に軽量でセルフホスト、かつ機能豊富な可観測性ソリューションを提供します。監視のハードルを下げつつ、データの完全な自律制御を保証し、個人開発者からエンタープライズチームまで幅広く活用できます。