Show HN：Torrix —— 自託管的大語言模型可觀測性工具（無需 Postgres 和 Redis）
Torrix 是一款自託管的 LLM 可觀測性工具，支援跟蹤令牌數、成本、延遲、完整提示追蹤、推理令牌捕獲和 PII 脫敏。相容 OpenAI、Anthropic、Google Gemini 等眾多提供商。透過 Docker 一鍵部署，無需 Postgres 或 Redis。提供 Python、Node.js、Go、C#、Java SDK 以及 LangChain 回撥和 HTTP 代理。
文章情報
要點
- 自託管 LLM 可觀測性，無需 Postgres 或 Redis。
- 跟蹤令牌數、成本、延遲、提示追蹤、推理令牌和 PII 脫敏。
- 支援多種 LLM 提供商，提供多語言 SDK 和 HTTP 代理。
為什麼重要
這條新聞值得關注，因為自託管 LLM 可觀測性，無需 Postgres 或 Redis。
技術影響
可能影響模型選型、推理成本、產品能力和評測基準。
Torrix 是一款開源自託管的 LLM 可觀測性工具，旨在幫助開發者和企業全面監控、除錯和最佳化大語言模型應用。它能夠捕獲每一次 LLM 請求的詳細指標，包括令牌消耗、成本、響應延遲、完整的提示追蹤（prompt traces）、推理令牌（reasoning tokens）以及自動脫敏個人身份資訊（PII）。所有資料僅儲存在你的本地基礎設施中，無需依賴任何外部雲服務，確保資料隱私和安全。
部署 Torrix 極其簡潔，唯一的依賴是 Docker Desktop。使用者只需下載一份 docker-compose.yml 檔案並執行 docker compose up 即可啟動服務。啟動後透過瀏覽器訪問 http://localhost:8088 建立賬戶，即可獲得 API 金鑰。Torrix 支援透過 HTTP 代理或官方 SDK 將 LLM 呼叫無縫路由到監控平臺。特別值得一提的是，Torrix 不需要 Postgres 或 Redis 作為外部資料儲存，極大地降低了運維複雜度和成本。
Torrix 相容市面上主流的 LLM 提供商，包括 OpenAI、Anthropic、Google Gemini、Azure OpenAI、Groq、Mistral、DeepSeek、Perplexity、Fireworks、Together AI、Cohere、HuggingFace、Replicate、Ollama 以及任何符合 OpenAI 格式的 HTTP 端點。為了便於整合，Torrix 提供了多種程式語言的 SDK：Python、Node.js、Go、C# (.NET 6+)、Java (11+)。這些 SDK 能夠輕鬆包裹原生客戶端，自動捕獲請求響應資料。此外，Torrix 還為 LangChain 使用者提供了 TorrixCallbackHandler，只需簡單配置即可自動追蹤所有 LLM 呼叫。
對於無法直接使用 SDK 的場景，Torrix 的 HTTP 代理模式允許任何語言或工具（如 n8n、curl、Postman）透過簡單的 HTTP 請求記錄 LLM 互動。代理模式支援豐富的頭部配置，包括自定義執行名稱、提供商提示、追蹤 ID 和會話 ID，方便進行多步驟 Agent 呼叫或對話分組的可觀測性。
總的來說，Torrix 為 LLM 應用開發提供了輕量級、自託管、功能全面的可觀測性方案。它不僅降低了監控門檻，還保證了資料的完全自主可控，適合從個人開發者到企業團隊的各種規模使用。