ToTra – 开源LLM网关，符合GDPR和欧盟AI法案

ToTra 是一款开源的人工智能网关和治理平台，旨在为企业提供安全、合规且高效的 LLM 访问控制。它位于任何 LLM 提供商的前端，无需修改现有代码即可集成，只需将应用的 API 端点指向 ToTra，即可获得配额管理、PII 屏蔽、成本追踪和合规支持等能力。

平台完全使用 Go 语言编写，在生产负载下 p95 延迟仅增加不到 2 毫秒，性能出色。ToTra 支持多种主流 LLM 提供商，包括 OpenAI、Anthropic、Gemini、Mistral、Azure OpenAI、AWS Bedrock 以及本地模型（如 Ollama）。其语义缓存功能通过 SimHash LSH 去重，重复提示可直接命中缓存，避免调用 LLM，从而降低成本。

在安全方面，ToTra 在请求到达 LLM 之前即进行 PII 扫描，覆盖 18 种语言组，包括中文、英文、日文、韩文、阿拉伯语等，可检测身份证号、信用卡、病历代码等敏感信息，并自动脱敏。合规功能内置 GDPR 数据主体请求工作流、欧盟 AI 法案检查表以及不可变的哈希链审计日志，确保每一笔请求均可追溯。

成本管理方面，ToTra 支持按用户、团队、模型进行 token 和金额追踪，可设置硬预算上限，超出限制时直接返回 429 状态码，并支持 Slack、飞书等渠道的实时告警。此外，平台还提供部门报销报告、预算预测和异常检测功能。

部署非常简单，只需 Docker 和 Docker Compose，五分钟内即可启动。ToTra 采用自托管方式，所有数据保留在用户自己的基础设施中，无需外部依赖。项目遵循 MIT 许可证，完全开源，可自由修改和分发。