Databricks 宣布 Unity AI Gateway 中的 LLM 护栏(Beta 版),这是一系列用于保护 AI 工作负载的安全和合规性的工具。护栏是保护敏感信息不被传入 AI 应用程序、并确保 AI 生成的输出安全合规的灵活且实用的方法。Unity AI Gateway 提供了一系列预构建的护栏,以满足常见需求,同时还可部署自定义护栏以满足组织的细微要求。这些护栏与 Databricks Lakehouse 架构集成,简化了可观测性、监控和评估。
在此发布中,Databricks 强调了使用护栏防止企业敏感数据泄露的重要性,从用户到模型或反之亦然。护栏还可以防止 AI 的有害或攻击性使用,确保生成的内容符合产品品牌策略,并保持聊天对话的主题集中。
场景:Acme Co. 为生成式 AI 定义护栏 Acme 公司的营销团队正在推出一个 AI 助手来帮助起草营销活动。CIO 建立了 LLM 使用的公司政策,包括:没有客户 PII 泄漏到模型提示中;所有模型提示必须进行越狱和提示注入尝试筛查;AI 不能用于生成有害或不安全的内容。此外,营销团队非常注意保护品牌形象并避免贬低竞争对手。他们在 Unity AI Gateway 中为项目配置端点,并设置了各种护栏。
构建受治理的 AI 端点 团队选择了通用模型 GPT-5.4,并配置了端点。他们还设置了推理表来监控护栏。他们根据业务需求映射了护栏类型:PII 检测与红action(输入时清理)、越狱与提示注入(输入时阻止)、不安全内容阻止(输出时阻止),以及一个自定义护栏来避免提及竞争对手(输出时阻止)。
设置预构建护栏很简单:从网关页面进入护栏标签,点击“添加护栏”,选择类型并配置。对于 PII,他们配置了输入红action。每个预构建护栏都有默认的评估器端点(如 databricks-gpt-5-nano),可以更改。高级模式下可以选择仅记录模式。对于自定义护栏,他们命名、选择阻止违规输出,并填写提示模板。
测试护栏 团队发送示例提示。预期的护栏行为包括:无操作、PII 红action、输出阻止等。实际观察记录显示,自定义护栏最初未按预期触发,但通过改进提示(如指定业务、列出竞争对手、提供少样本示例)并选择正确的评估器(gpt-5-4-mini)后,性能得到改善。他们计划通过推理表捕获更多流量并进一步调整。
审计护栏活动 推理端点记录每个请求的行,包括被阻止的请求。评估器端点记录每个护栏调用的行,包含请求体、原始 JSON 响应、延迟等信息。两者通过 request_id 关联,可追溯护栏决策。团队可以创建报告和仪表盘,分析用户会话并验证护栏敏感性。
立即尝试 Unity AI Gateway 中的 LLM 护栏!Beta 版现已可用。文档提供了启用指南。建议从处理敏感提示、外部工具或面向客户输出的端点开始启用护栏,并使用推理表监控和优化行为。