Meta 的 Muse Spark 1.1 现已在 Databricks 上可用,完全由 Unity AI Gateway 管理
Meta 的新模型 Muse Spark 1.1 现可通过 Databricks 的 Unity AI Gateway 中的模型提供商服务(MPS)使用。该服务允许组织在 Unity Catalog 中注册提供商一次,消除 API 密钥泛滥,并通过熟悉的权限、速率限制和护栏实现集中治理。此外,自动跟踪每次请求的令牌使用量、延迟、成本归属和审计日志,提供端到端的可观察性。
Meta 的 Muse Spark 1.1 现在可通过 Databricks 的 Unity AI Gateway 中的新型模型提供商服务(MPS)使用。MPS 允许组织在 Unity Catalog 中注册外部模型提供商(如 OpenAI、Anthropic、Amazon Bedrock 以及新发布的 Meta Muse Spark 1.1),从而消除 API 密钥泛滥并集中管理访问。
当新模型发布时,团队通常需要各自的 API 密钥,导致密钥分散在笔记本、应用程序和 CI/CD 管道中。使用 MPS,平台团队可以定义一次提供商及其 API 密钥,然后让所有团队通过 Unity AI Gateway 查询,同时遵循现有的权限和策略。
MPS 提供三大优势:选择、控制和清晰度。选择方面,团队可以在提供商之间自由切换,而无需重新集成。控制方面,通过标准的 GRANT 和 REVOKE 命令管理权限,并附加速率限制和护栏策略。清晰度方面,每次请求都会自动记录令牌数量、延迟和成本,并可选地将完整请求和响应负载记录到受治理的 Delta 表中。
要开始使用,首先在 Unity Catalog 中注册 Muse Spark 1.1 作为模型提供商服务。由于 Muse Spark 与 OpenAI 的响应 API 兼容,因此可以使用 OpenAI 提供商类型进行注册,提供 API 密钥和基础 URL。注册后,API 密钥在 Unity Catalog 中加密存储,且模型列表严格定义允许的模型。
然后,授予用户或组 EXECUTE 权限,以便他们可以查询模型。查询时,客户端使用 OpenAI 兼容端点,并添加一个额外的标头以标识服务。Unity AI Gateway 会验证权限,应用速率限制和护栏,然后将请求路由到 Meta。
最后,监控和日志记录默认启用。使用信息(令牌、延迟、成本)报告到系统表,并可通过策略添加自定义护栏,如个人身份信息(PII)检测和防止提示注入。
模型提供商服务现已在 AWS、Azure 和 GCP 上可用。账户管理员可以通过账户控制台的预览页面启用该预览。