ToTra – GDPR/EU AI Act準拠のオープンソースLLMゲートウェイ

ToTraは、エンタープライズ向けのオープンソースAIゲートウェイ兼ガバナンスプラットフォームです。あらゆるLLMプロバイダーの前に配置され、既存のコードを変更することなく、クォータ管理、PIIブロック、コスト追跡、コンプライアンス機能を即座に提供します。

プラットフォームはGo言語で完全に記述されており、本番負荷下でもp95レイテンシは2ミリ秒未満と優れたパフォーマンスを発揮します。ToTraはOpenAI、Anthropic、Gemini、Mistral、Azure OpenAI、AWS Bedrock、そしてOllamaなどのローカルモデルを含む多数のLLMプロバイダーをサポートしています。セマンティックキャッシュ機能はSimHash LSHによる重複排除を行い、繰り返しのプロンプトはLLMを呼び出すことなくキャッシュから応答を返すため、コストを削減します。

セキュリティ面では、ToTraはリクエストがLLMに到達する前にPIIスキャンを実行します。対象は18の言語グループ（中国語、英語、日本語、韓国語、アラビア語など）で、ID番号、クレジットカード、医療コードなどの機密情報を検出し、自動的にマスキングします。コンプライアンス機能には、GDPRデータ主体リクエストワークフロー、EU AI Actチェックリスト、不変のハッシュチェーン監査ログが組み込まれており、すべてのリクエストを追跡可能にします。

コスト管理では、ユーザー、チーム、モデルごとのトークンおよび金額追跡が可能で、ハードバジェット上限を設定できます。上限を超えたリクエストは429ステータスコードを返し、SlackやFeishuなどのチャネルにリアルタイムアラートを送信します。さらに、部門別チャージバックレポート、予算予測、異常検知機能も提供されます。

デプロイは非常に簡単で、DockerとDocker Composeのみで5分以内に起動できます。ToTraはセルフホスト型で、すべてのデータはユーザーのインフラ内に保持され、外部依存はありません。プロジェクトはMITライセンスの下で完全にオープンソースであり、自由に変更および再配布できます。