Show HN: TruLayer – 生产级LLM的追踪、评估与控制循环

TruLayer 是一款专为生产环境设计的 AI 可观测性平台，旨在解决 LLM 应用从演示到实际部署过程中遇到的可靠性问题。该平台提供分布式追踪、自动评估、人工审核和自动修复等核心功能，帮助团队构建一个完整的控制循环（control loop），确保每一次输出都经过严格校验。

核心功能

TruLayer 将观测、评估和改进三个环节整合到单一流水线中。在追踪方面，平台支持分布式追踪、失败聚类、异常检测和语义搜索，帮助团队快速定位问题根源。可配置的重试深度机制能防止级联失败：当一条追踪经过多次重试仍未通过评估时，会自动进入人工审核队列。

评估环节内置了 25 个预建评估器，覆盖 faithfulness、工具调用正确性、PII 泄漏、幻觉检测等关键维度。团队可以为任意 span 设置评估规则，并基于黄金数据集进行回归测试，实时监控评分趋势。

改进环节是 TruLayer 的独特优势。平台提供 AI 建议的提示词优化、自愈操作、人工审核和修复差异对比，真正实现“发现问题-修复问题”的闭环。当评估规则触发时，控制循环会自动采用修正后的提示词重试，或将该路径的后续执行路由至人工审核队列，避免相同问题影响下一位用户。

适用场景

TruLayer 针对不同垂直领域提供了专门解决方案：

• 客户支持代理：实时评分退款决策，控制循环自动重试或转人工
• 外呼销售代理：faithfulness 评分检测定价、合规信息偏差
• 编程代理：函数调用正确性评估，防止文件误删或测试篡改
• AI 运维代理：工具调用评估，避免错误操作引发二次故障
• 文档提取代理：字段缺失、类型错误检测，自动重试提示词
• 财务报告代理：检测上下文窗口漂移，确保数据准确性
• 法律研究代理：幻觉检测，确保引用来源可靠
• 临床 AI 助手：临床 faithfulness 评分，自动路由至审核队列

技术架构

TruLayer 采用 OTEL 原生设计，支持通过 OTLP 发送 spans，无需改写现有技术栈。集成只需两行代码：对 OpenAI、Anthropic 或自定义 LLM 客户端进行包装，即可自动捕获输入、输出、token 消耗、延迟和评估分数。支持异步代理跳转间的追踪上下文传播，基于代理而非猴子补丁（monkey-patching），零开销。

定价方案

TruLayer 提供四档定价：免费 Starter（100万 spans/月，3席位）、Pro（149美元/月，2000万 spans/月）、Team（699美元/月，1亿 spans/月）以及企业定制方案。年度订阅可节省20%费用。

TruLayer 的目标是让 AI 不仅可观测，更可靠——从“哪里出了问题”到“修复并已部署”，一站式完成。