Show HN: TruLayer – 生產級LLM的追蹤、評估與控制循環

TruLayer 是一款專為生產環境設計的 AI 可觀測性平台，旨在解決 LLM 應用從演示到實際部署過程中遇到的可靠性問題。該平台提供分佈式追蹤、自動評估、人工審核和自動修復等核心功能，幫助團隊構建一個完整的控制循環（control loop），確保每一次輸出都經過嚴格校驗。

核心功能

TruLayer 將觀測、評估和改進三個環節整合到單一流水線中。在追蹤方面，平台支持分佈式追蹤、失敗聚類、異常檢測和語義搜索，幫助團隊快速定位問題根源。可配置的重試深度機制能防止級聯失敗：當一條追蹤經過多次重試仍未通過評估時，會自動進入人工審核隊列。

評估環節內置了 25 個預建評估器，覆蓋 faithfulness、工具調用正確性、PII 泄漏、幻覺檢測等關鍵維度。團隊可以為任意 span 設置評估規則，並基於黃金數據集進行迴歸測試，實時監控評分趨勢。

改進環節是 TruLayer 的獨特優勢。平台提供 AI 建議的提示詞優化、自愈操作、人工審核和修復差異對比，真正實現“發現問題-修復問題”的閉環。當評估規則觸發時，控制循環會自動採用修正後的提示詞重試，或將該路徑的後續執行路由至人工審核隊列，避免相同問題影響下一位用户。

適用場景

TruLayer 針對不同垂直領域提供了專門解決方案：

• 客户支持代理：實時評分退款決策，控制循環自動重試或轉人工
• 外呼銷售代理：faithfulness 評分檢測定價、合規信息偏差
• 編程代理：函數調用正確性評估，防止文件誤刪或測試篡改
• AI 運維代理：工具調用評估，避免錯誤操作引發二次故障
• 文檔提取代理：字段缺失、類型錯誤檢測，自動重試提示詞
• 財務報告代理：檢測上下文窗口漂移，確保數據準確性
• 法律研究代理：幻覺檢測，確保引用來源可靠
• 臨牀 AI 助手：臨牀 faithfulness 評分，自動路由至審核隊列

技術架構

TruLayer 採用 OTEL 原生設計，支持通過 OTLP 發送 spans，無需改寫現有技術棧。集成只需兩行代碼：對 OpenAI、Anthropic 或自定義 LLM 客户端進行包裝，即可自動捕獲輸入、輸出、token 消耗、延遲和評估分數。支持異步代理跳轉間的追蹤上下文傳播，基於代理而非猴子補丁（monkey-patching），零開銷。

定價方案

TruLayer 提供四檔定價：免費 Starter（100萬 spans/月，3席位）、Pro（149美元/月，2000萬 spans/月）、Team（699美元/月，1億 spans/月）以及企業定製方案。年度訂閲可節省20%費用。

TruLayer 的目標是讓 AI 不僅可觀測，更可靠——從“哪裏出了問題”到“修復並已部署”，一站式完成。