如何使用 Unity AI Gateway Guardrails 保護 AI 工作負載

Databricks 宣佈 Unity AI Gateway 中的 LLM 護欄（Beta 版），這是一系列用於保護 AI 工作負載的安全和合規性的工具。護欄是保護敏感資訊不被傳入 AI 應用程式、並確保 AI 生成的輸出安全合規的靈活且實用的方法。Unity AI Gateway 提供了一系列預構建的護欄，以滿足常見需求，同時還可部署自定義護欄以滿足組織的細微要求。這些護欄與 Databricks Lakehouse 架構整合，簡化了可觀測性、監控和評估。

在此釋出中，Databricks 強調了使用護欄防止企業敏感資料洩露的重要性，從使用者到模型或反之亦然。護欄還可以防止 AI 的有害或攻擊性使用，確保生成的內容符合產品品牌策略，並保持聊天對話的主題集中。

場景：Acme Co. 為生成式 AI 定義護欄 Acme 公司的營銷團隊正在推出一個 AI 助手來幫助起草營銷活動。CIO 建立了 LLM 使用的公司政策，包括：沒有客戶 PII 洩漏到模型提示中；所有模型提示必須進行越獄和提示注入嘗試篩查；AI 不能用於生成有害或不安全的內容。此外，營銷團隊非常注意保護品牌形象並避免貶低競爭對手。他們在 Unity AI Gateway 中為專案配置端點，並設定了各種護欄。

構建受治理的 AI 端點 團隊選擇了通用模型 GPT-5.4，並配置了端點。他們還設定了推理表來監控護欄。他們根據業務需求對映了護欄型別：PII 檢測與紅action（輸入時清理）、越獄與提示注入（輸入時阻止）、不安全內容阻止（輸出時阻止），以及一個自定義護欄來避擴音及競爭對手（輸出時阻止）。

設定預構建護欄很簡單：從閘道器頁面進入護欄標籤，點選“新增護欄”，選擇型別並配置。對於 PII，他們配置了輸入紅action。每個預構建護欄都有預設的評估器端點（如 databricks-gpt-5-nano），可以更改。高階模式下可以選擇僅記錄模式。對於自定義護欄，他們命名、選擇阻止違規輸出，並填寫提示模板。

測試護欄 團隊傳送示例提示。預期的護欄行為包括：無操作、PII 紅action、輸出阻止等。實際觀察記錄顯示，自定義護欄最初未按預期觸發，但透過改進提示（如指定業務、列出競爭對手、提供少樣本示例）並選擇正確的評估器（gpt-5-4-mini）後，效能得到改善。他們計劃透過推理表捕獲更多流量並進一步調整。

審計護欄活動 推理端點記錄每個請求的行，包括被阻止的請求。評估器端點記錄每個護欄呼叫的行，包含請求體、原始 JSON 響應、延遲等資訊。兩者透過 request_id 關聯，可追溯護欄決策。團隊可以建立報告和儀表盤，分析使用者會話並驗證護欄敏感性。

立即嘗試 Unity AI Gateway 中的 LLM 護欄！Beta 版現已可用。文件提供了啟用指南。建議從處理敏感提示、外部工具或面向客戶輸出的端點開始啟用護欄，並使用推理表監控和最佳化行為。