Show HN: TruLayer – 生產級LLM的追蹤、評估與控制迴圈

TruLayer 是一款專為生產環境設計的 AI 可觀測性平臺，旨在解決 LLM 應用從演示到實際部署過程中遇到的可靠性問題。該平臺提供分散式追蹤、自動評估、人工稽核和自動修復等核心功能，幫助團隊構建一個完整的控制迴圈（control loop），確保每一次輸出都經過嚴格校驗。

核心功能

TruLayer 將觀測、評估和改進三個環節整合到單一流水線中。在追蹤方面，平臺支援分散式追蹤、失敗聚類、異常檢測和語義搜尋，幫助團隊快速定位問題根源。可配置的重試深度機制能防止級聯失敗：當一條追蹤經過多次重試仍未透過評估時，會自動進入人工稽核佇列。

評估環節內建了 25 個預建評估器，覆蓋 faithfulness、工具呼叫正確性、PII 洩漏、幻覺檢測等關鍵維度。團隊可以為任意 span 設定評估規則，並基於黃金資料集進行迴歸測試，即時監控評分趨勢。

改進環節是 TruLayer 的獨特優勢。平臺提供 AI 建議的提示詞最佳化、自愈操作、人工稽核和修復差異對比，真正實現“發現問題-修復問題”的閉環。當評估規則觸發時，控制迴圈會自動採用修正後的提示詞重試，或將該路徑的後續執行路由至人工稽核佇列，避免相同問題影響下一位使用者。

適用場景

TruLayer 針對不同垂直領域提供了專門解決方案：

• 客戶支援代理：即時評分退款決策，控制迴圈自動重試或轉人工
• 外呼銷售代理：faithfulness 評分檢測定價、合規資訊偏差
• 程式設計代理：函式呼叫正確性評估，防止檔案誤刪或測試篡改
• AI 運維代理：工具呼叫評估，避免錯誤操作引發二次故障
• 文件提取代理：欄位缺失、型別錯誤檢測，自動重試提示詞
• 財務報告代理：檢測上下文視窗漂移，確保資料準確性
• 法律研究代理：幻覺檢測，確保引用來源可靠
• 臨床 AI 助手：臨床 faithfulness 評分，自動路由至稽核佇列

技術架構

TruLayer 採用 OTEL 原生設計，支援透過 OTLP 傳送 spans，無需改寫現有技術棧。整合只需兩行程式碼：對 OpenAI、Anthropic 或自定義 LLM 客戶端進行包裝，即可自動捕獲輸入、輸出、token 消耗、延遲和評估分數。支援非同步代理跳轉間的追蹤上下文傳播，基於代理而非猴子補丁（monkey-patching），零開銷。

定價方案

TruLayer 提供四檔定價：免費 Starter（100萬 spans/月，3席位）、Pro（149美元/月，2000萬 spans/月）、Team（699美元/月，1億 spans/月）以及企業定製方案。年度訂閱可節省20%費用。

TruLayer 的目標是讓 AI 不僅可觀測，更可靠——從“哪裡出了問題”到“修復並已部署”，一站式完成。