Meta 的 Muse Spark 1.1 現已在 Databricks 上可用,完全由 Unity AI Gateway 管理
Meta 的新模型 Muse Spark 1.1 現可通過 Databricks 的 Unity AI Gateway 中的模型提供商服務(MPS)使用。該服務允許組織在 Unity Catalog 中註冊提供商一次,消除 API 密鑰氾濫,並通過熟悉的權限、速率限制和護欄實現集中治理。此外,自動跟蹤每次請求的令牌使用量、延遲、成本歸屬和審計日誌,提供端到端的可觀察性。
Meta 的 Muse Spark 1.1 現在可通過 Databricks 的 Unity AI Gateway 中的新型模型提供商服務(MPS)使用。MPS 允許組織在 Unity Catalog 中註冊外部模型提供商(如 OpenAI、Anthropic、Amazon Bedrock 以及新發布的 Meta Muse Spark 1.1),從而消除 API 密鑰氾濫並集中管理訪問。
當新模型發佈時,團隊通常需要各自的 API 密鑰,導致密鑰分散在筆記本、應用程序和 CI/CD 管道中。使用 MPS,平台團隊可以定義一次提供商及其 API 密鑰,然後讓所有團隊通過 Unity AI Gateway 查詢,同時遵循現有的權限和策略。
MPS 提供三大優勢:選擇、控制和清晰度。選擇方面,團隊可以在提供商之間自由切換,而無需重新集成。控制方面,通過標準的 GRANT 和 REVOKE 命令管理權限,並附加速率限制和護欄策略。清晰度方面,每次請求都會自動記錄令牌數量、延遲和成本,並可選地將完整請求和響應負載記錄到受治理的 Delta 表中。
要開始使用,首先在 Unity Catalog 中註冊 Muse Spark 1.1 作為模型提供商服務。由於 Muse Spark 與 OpenAI 的響應 API 兼容,因此可以使用 OpenAI 提供商類型進行註冊,提供 API 密鑰和基礎 URL。註冊後,API 密鑰在 Unity Catalog 中加密存儲,且模型列表嚴格定義允許的模型。
然後,授予用户或組 EXECUTE 權限,以便他們可以查詢模型。查詢時,客户端使用 OpenAI 兼容端點,並添加一個額外的標頭以標識服務。Unity AI Gateway 會驗證權限,應用速率限制和護欄,然後將請求路由到 Meta。
最後,監控和日誌記錄默認啓用。使用信息(令牌、延遲、成本)報告到系統表,並可通過策略添加自定義護欄,如個人身份信息(PII)檢測和防止提示注入。
模型提供商服務現已在 AWS、Azure 和 GCP 上可用。賬户管理員可以通過賬户控制台的預覽頁面啓用該預覽。