ToTra – 開源LLM閘道器，符合GDPR和歐盟AI法案

ToTra 是一款開源的人工智慧閘道器和治理平臺，旨在為企業提供安全、合規且高效的 LLM 訪問控制。它位於任何 LLM 提供商的前端，無需修改現有程式碼即可整合，只需將應用的 API 端點指向 ToTra，即可獲得配額管理、PII 遮蔽、成本追蹤和合規支援等能力。

平臺完全使用 Go 語言編寫，在生產負載下 p95 延遲僅增加不到 2 毫秒，效能出色。ToTra 支援多種主流 LLM 提供商，包括 OpenAI、Anthropic、Gemini、Mistral、Azure OpenAI、AWS Bedrock 以及本地模型（如 Ollama）。其語義快取功能透過 SimHash LSH 去重，重複提示可直接命中快取，避免呼叫 LLM，從而降低成本。

在安全方面，ToTra 在請求到達 LLM 之前即進行 PII 掃描，覆蓋 18 種語言組，包括中文、英文、日文、韓文、阿拉伯語等，可檢測身份證號、信用卡、病歷程式碼等敏感資訊，並自動脫敏。合規功能內建 GDPR 資料主體請求工作流、歐盟 AI 法案檢查表以及不可變的雜湊鏈審計日誌，確保每一筆請求均可追溯。

成本管理方面，ToTra 支援按使用者、團隊、模型進行 token 和金額追蹤，可設定硬預算上限，超出限制時直接返回 429 狀態碼，並支援 Slack、飛書等渠道的即時告警。此外，平臺還提供部門報銷報告、預算預測和異常檢測功能。

部署非常簡單，只需 Docker 和 Docker Compose，五分鐘內即可啟動。ToTra 採用自託管方式，所有資料保留在使用者自己的基礎設施中，無需外部依賴。專案遵循 MIT 許可證，完全開源，可自由修改和分發。