AI_glue — 為OpenAI和Anthropic應用提供即插即用的審計與治理

AI_glue 是一個開源的輕量級工具，專為使用 OpenAI 和 Anthropic API 的應用程式設計，旨在提供即插即用的可觀測性和治理功能。它作為一個透明代理執行在應用程式與模型提供商之間，無需修改應用程式碼即可實現呼叫日誌記錄、支出監控、PII（個人身份資訊）檢測以及硬性治理規則的強制執行。

該工具支援兩種整合模式：代理模式和包裝器模式。在代理模式下，開發者只需修改環境變數 ANTHROPIC_BASE_URL 或 OPENAI_BASE_URL 指向 AI_glue 例項，所有 API 呼叫便會自動被攔截、記錄並透過治理規則檢查。代理完全支援流式傳輸，可在不改變響應的情況下捕獲令牌計數和延遲。開發者還可以透過可選頭部 X-Aiglue-Project 和 X-Aiglue-Session 為呼叫打標籤，若未提供則使用環境變數中的預設值。包裝器模式適用於新應用或可控制程式碼的場景，透過 GluedClient 類提供與原始 SDK 相同的 API，同時自動注入會話和專案標籤。

AI_glue 的治理引擎透過 governance.yaml 配置檔案定義規則，更改後立即生效，無需重啟。支援的規則包括模型白名單（阻止未批准的模型並返回403）、每日支出上限、每小時速率限制以及 PII 檢測。PII 檢測基於正規表示式，可識別電子郵件、社會安全號碼、電話號碼和信用卡資訊等，但不會阻止呼叫，而是標記為警告供審查。違反規則的行為會被硬性阻止且不會記錄到日誌中。安全提示：當使用團隊 API 金鑰對映功能時，governance.yaml 會對映金鑰字首到真實專案名稱，因此應視為敏感檔案，限制檔案系統許可權並避擴音交到版本控制。

儀表盤提供三個檢視：/ 審計檢視面向工程師和團隊負責人，顯示完整的呼叫日誌，包括令牌計數、成本、延遲和 PII 標記，支援按專案、會話和標記過濾；/executive 高管檢視面向領導層，以非技術語言展示總AI支出、活躍專案、對話數和風險標誌，並帶有“全部標記為已審查”操作；/aggregate 多例項檢視用於比較開發、預釋出和生產環境的獨立摘要。透過多例項聚合功能，一個父例項可以拉取多個子例項的 /api/summary 資料，合併到統一檢視中，只需在父例項的 governance.yaml 中新增子例項配置即可。

此外，AI_glue 支援團隊 API 金鑰對映，允許為每個團隊頒發合成金鑰，代理檢測字首後自動標記呼叫並替換為真實 API 金鑰，實現集中計費和按團隊成本歸集。工具還包含培訓資料匯出功能，透過 /export/training 端點將日誌轉換為 JSONL 格式，支援按會話或專案匯出，以及 session 和 turn 兩種格式，可用於微調、內容挖掘或構建與提供商無關的能力基線。當依賴的模型被棄用時，這些資料尤為重要。

日誌記錄欄位包括時間戳、提供商、模型、會話ID、專案、輸入/輸出令牌數、估計成本、延遲、提示雜湊和原始文本（需設定 AIGLUE_LOG_RAW=true）等。敏感場景下可關閉原始文本記錄。專案基於 Python 3.7+、Flask 和 SQLite，測試套件無需 API 金鑰即可執行，共27個測試用例。