Show HN：Torrix —— 自託管的大語言模型可觀測性工具（無需 Postgres 和 Redis）
Torrix 是一款自託管的 LLM 可觀測性工具，支持跟蹤令牌數、成本、延遲、完整提示追蹤、推理令牌捕獲和 PII 脱敏。兼容 OpenAI、Anthropic、Google Gemini 等眾多提供商。通過 Docker 一鍵部署，無需 Postgres 或 Redis。提供 Python、Node.js、Go、C#、Java SDK 以及 LangChain 回調和 HTTP 代理。
文章情報
要點
- 自託管 LLM 可觀測性，無需 Postgres 或 Redis。
- 跟蹤令牌數、成本、延遲、提示追蹤、推理令牌和 PII 脱敏。
- 支持多種 LLM 提供商，提供多語言 SDK 和 HTTP 代理。
為甚麼重要
這條新聞值得關注，因為自託管 LLM 可觀測性，無需 Postgres 或 Redis。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
Torrix 是一款開源自託管的 LLM 可觀測性工具，旨在幫助開發者和企業全面監控、調試和優化大語言模型應用。它能夠捕獲每一次 LLM 請求的詳細指標，包括令牌消耗、成本、響應延遲、完整的提示追蹤（prompt traces）、推理令牌（reasoning tokens）以及自動脱敏個人身份信息（PII）。所有數據僅存儲在你的本地基礎設施中，無需依賴任何外部雲服務，確保數據隱私和安全。
部署 Torrix 極其簡潔，唯一的依賴是 Docker Desktop。用户只需下載一份 docker-compose.yml 文件並運行 docker compose up 即可啓動服務。啓動後通過瀏覽器訪問 http://localhost:8088 創建賬户，即可獲得 API 密鑰。Torrix 支持通過 HTTP 代理或官方 SDK 將 LLM 調用無縫路由到監控平台。特別值得一提的是，Torrix 不需要 Postgres 或 Redis 作為外部數據存儲，極大地降低了運維複雜度和成本。
Torrix 兼容市面上主流的 LLM 提供商，包括 OpenAI、Anthropic、Google Gemini、Azure OpenAI、Groq、Mistral、DeepSeek、Perplexity、Fireworks、Together AI、Cohere、HuggingFace、Replicate、Ollama 以及任何符合 OpenAI 格式的 HTTP 端點。為了便於集成，Torrix 提供了多種編程語言的 SDK：Python、Node.js、Go、C# (.NET 6+)、Java (11+)。這些 SDK 能夠輕鬆包裹原生客户端，自動捕獲請求響應數據。此外，Torrix 還為 LangChain 用户提供了 TorrixCallbackHandler，只需簡單配置即可自動追蹤所有 LLM 調用。
對於無法直接使用 SDK 的場景，Torrix 的 HTTP 代理模式允許任何語言或工具（如 n8n、curl、Postman）通過簡單的 HTTP 請求記錄 LLM 交互。代理模式支持豐富的頭部配置，包括自定義運行名稱、提供商提示、追蹤 ID 和會話 ID，方便進行多步驟 Agent 調用或對話分組的可觀測性。
總的來説，Torrix 為 LLM 應用開發提供了輕量級、自託管、功能全面的可觀測性方案。它不僅降低了監控門檻，還保證了數據的完全自主可控，適合從個人開發者到企業團隊的各種規模使用。