ToTra – 開源LLM網關，符合GDPR和歐盟AI法案

ToTra 是一款開源的人工智能網關和治理平台，旨在為企業提供安全、合規且高效的 LLM 訪問控制。它位於任何 LLM 提供商的前端，無需修改現有代碼即可集成，只需將應用的 API 端點指向 ToTra，即可獲得配額管理、PII 屏蔽、成本追蹤和合規支持等能力。

平台完全使用 Go 語言編寫，在生產負載下 p95 延遲僅增加不到 2 毫秒，性能出色。ToTra 支持多種主流 LLM 提供商，包括 OpenAI、Anthropic、Gemini、Mistral、Azure OpenAI、AWS Bedrock 以及本地模型（如 Ollama）。其語義緩存功能通過 SimHash LSH 去重，重複提示可直接命中緩存，避免調用 LLM，從而降低成本。

在安全方面，ToTra 在請求到達 LLM 之前即進行 PII 掃描，覆蓋 18 種語言組，包括中文、英文、日文、韓文、阿拉伯語等，可檢測身份證號、信用卡、病歷代碼等敏感信息，並自動脱敏。合規功能內置 GDPR 數據主體請求工作流、歐盟 AI 法案檢查表以及不可變的哈希鏈審計日誌，確保每一筆請求均可追溯。

成本管理方面，ToTra 支持按用户、團隊、模型進行 token 和金額追蹤，可設置硬預算上限，超出限制時直接返回 429 狀態碼，並支持 Slack、飛書等渠道的實時告警。此外，平台還提供部門報銷報告、預算預測和異常檢測功能。

部署非常簡單，只需 Docker 和 Docker Compose，五分鐘內即可啓動。ToTra 採用自託管方式，所有數據保留在用户自己的基礎設施中，無需外部依賴。項目遵循 MIT 許可證，完全開源，可自由修改和分發。