如何使用 Unity AI Gateway Guardrails 保护 AI 工作负载
Databricks 宣布 Unity AI Gateway 中的 LLM 护栏(Beta 版),通过预构建和自定义护栏保护 AI 工作负载免受安全和合规风险,并与 Lakehouse 集成实现可观测性。
Databricks 宣布 Unity AI Gateway 中的 LLM 护栏(Beta 版),这是一系列用于保护 AI 工作负载的安全和合规性的工具。护栏是保护敏感信息不被传入 AI 应用程序、并确保 AI 生成的输出安全合规的灵活且实用的方法。Unity AI Gateway 提供了一系列预构建的护栏,以满足常见需求,同时还可部署自定义护栏以满足组织的细微要求。这些护栏与 Databricks Lakehouse 架构集成,简化了可观测性、监控和评估。
在此发布中,Databricks 强调了使用护栏防止企业敏感数据泄露的重要性,从用户到模型或反之亦然。护栏还可以防止 AI 的有害或攻击性使用,确保生成的内容符合产品品牌策略,并保持聊天对话的主题集中。
场景:Acme Co. 为生成式 AI 定义护栏 Acme 公司的营销团队正在推出一个 AI 助手来帮助起草营销活动。CIO 建立了 LLM 使用的公司政策,包括:没有客户 PII 泄漏到模型提示中;所有模型提示必须进行越狱和提示注入尝试筛查;AI 不能用于生成有害或不安全的内容。此外,营销团队非常注意保护品牌形象并避免贬低竞争对手。他们在 Unity AI Gateway 中为项目配置端点,并设置了各种护栏。
构建受治理的 AI 端点 团队选择了通用模型 GPT-5.4,并配置了端点。他们还设置了推理表来监控护栏。他们根据业务需求映射了护栏类型:PII 检测与红action(输入时清理)、越狱与提示注入(输入时阻止)、不安全内容阻止(输出时阻止),以及一个自定义护栏来避免提及竞争对手(输出时阻止)。
设置预构建护栏很简单:从网关页面进入护栏标签,点击“添加护栏”,选择类型并配置。对于 PII,他们配置了输入红action。每个预构建护栏都有默认的评估器端点(如 databricks-gpt-5-nano),可以更改。高级模式下可以选择仅记录模式。对于自定义护栏,他们命名、选择阻止违规输出,并填写提示模板。
测试护栏 团队发送示例提示。预期的护栏行为包括:无操作、PII 红action、输出阻止等。实际观察记录显示,自定义护栏最初未按预期触发,但通过改进提示(如指定业务、列出竞争对手、提供少样本示例)并选择正确的评估器(gpt-5-4-mini)后,性能得到改善。他们计划通过推理表捕获更多流量并进一步调整。
审计护栏活动 推理端点记录每个请求的行,包括被阻止的请求。评估器端点记录每个护栏调用的行,包含请求体、原始 JSON 响应、延迟等信息。两者通过 request_id 关联,可追溯护栏决策。团队可以创建报告和仪表盘,分析用户会话并验证护栏敏感性。
立即尝试 Unity AI Gateway 中的 LLM 护栏!Beta 版现已可用。文档提供了启用指南。建议从处理敏感提示、外部工具或面向客户输出的端点开始启用护栏,并使用推理表监控和优化行为。