AI_glue — 為OpenAI和Anthropic應用提供即插即用的審計與治理

AI_glue 是一個開源的輕量級工具，專為使用 OpenAI 和 Anthropic API 的應用程序設計，旨在提供即插即用的可觀測性和治理功能。它作為一個透明代理運行在應用程序與模型提供商之間，無需修改應用代碼即可實現調用日誌記錄、支出監控、PII（個人身份信息）檢測以及硬性治理規則的強制執行。

該工具支持兩種集成模式：代理模式和包裝器模式。在代理模式下，開發者只需修改環境變量 ANTHROPIC_BASE_URL 或 OPENAI_BASE_URL 指向 AI_glue 實例，所有 API 調用便會自動被攔截、記錄並通過治理規則檢查。代理完全支持流式傳輸，可在不改變響應的情況下捕獲令牌計數和延遲。開發者還可以通過可選頭部 X-Aiglue-Project 和 X-Aiglue-Session 為調用打標籤，若未提供則使用環境變量中的默認值。包裝器模式適用於新應用或可控制代碼的場景，通過 GluedClient 類提供與原始 SDK 相同的 API，同時自動注入會話和項目標籤。

AI_glue 的治理引擎通過 governance.yaml 配置文件定義規則，更改後立即生效，無需重啓。支持的規則包括模型白名單（阻止未批准的模型並返回403）、每日支出上限、每小時速率限制以及 PII 檢測。PII 檢測基於正則表達式，可識別電子郵件、社會安全號碼、電話號碼和信用卡信息等，但不會阻止調用，而是標記為警告供審查。違反規則的行為會被硬性阻止且不會記錄到日誌中。安全提示：當使用團隊 API 密鑰映射功能時，governance.yaml 會映射密鑰前綴到真實項目名稱，因此應視為敏感文件，限制文件系統權限並避免提交到版本控制。

儀表盤提供三個視圖：/ 審計視圖面向工程師和團隊負責人，顯示完整的調用日誌，包括令牌計數、成本、延遲和 PII 標記，支持按項目、會話和標記過濾；/executive 高管視圖面向領導層，以非技術語言展示總AI支出、活躍項目、對話數和風險標誌，並帶有“全部標記為已審查”操作；/aggregate 多實例視圖用於比較開發、預發佈和生產環境的獨立摘要。通過多實例聚合功能，一個父實例可以拉取多個子實例的 /api/summary 數據，合併到統一視圖中，只需在父實例的 governance.yaml 中添加子實例配置即可。

此外，AI_glue 支持團隊 API 密鑰映射，允許為每個團隊頒發合成密鑰，代理檢測前綴後自動標記調用並替換為真實 API 密鑰，實現集中計費和按團隊成本歸集。工具還包含培訓數據導出功能，通過 /export/training 端點將日誌轉換為 JSONL 格式，支持按會話或項目導出，以及 session 和 turn 兩種格式，可用於微調、內容挖掘或構建與提供商無關的能力基線。當依賴的模型被棄用時，這些數據尤為重要。

日誌記錄字段包括時間戳、提供商、模型、會話ID、項目、輸入/輸出令牌數、估計成本、延遲、提示哈希和原始文本（需設置 AIGLUE_LOG_RAW=true）等。敏感場景下可關閉原始文本記錄。項目基於 Python 3.7+、Flask 和 SQLite，測試套件無需 API 密鑰即可運行，共27個測試用例。