AI News HubLIVE
站內改寫1 分鐘閱讀

Meta 的 Muse Spark 1.1 現已在 Databricks 上可用,完全由 Unity AI Gateway 管理

Meta 的新模型 Muse Spark 1.1 現可透過 Databricks 的 Unity AI Gateway 中的模型提供商服務(MPS)使用。該服務允許組織在 Unity Catalog 中註冊提供商一次,消除 API 金鑰氾濫,並透過熟悉的許可權、速率限制和護欄實現集中治理。此外,自動跟蹤每次請求的令牌使用量、延遲、成本歸屬和審計日誌,提供端到端的可觀察性。

Meta 的 Muse Spark 1.1 現在可透過 Databricks 的 Unity AI Gateway 中的新型模型提供商服務(MPS)使用。MPS 允許組織在 Unity Catalog 中註冊外部模型提供商(如 OpenAI、Anthropic、Amazon Bedrock 以及新發布的 Meta Muse Spark 1.1),從而消除 API 金鑰氾濫並集中管理訪問。

當新模型釋出時,團隊通常需要各自的 API 金鑰,導致金鑰分散在筆記本、應用程式和 CI/CD 管道中。使用 MPS,平臺團隊可以定義一次提供商及其 API 金鑰,然後讓所有團隊透過 Unity AI Gateway 查詢,同時遵循現有的許可權和策略。

MPS 提供三大優勢:選擇、控制和清晰度。選擇方面,團隊可以在提供商之間自由切換,而無需重新整合。控制方面,透過標準的 GRANT 和 REVOKE 命令管理許可權,並附加速率限制和護欄策略。清晰度方面,每次請求都會自動記錄令牌數量、延遲和成本,並可選地將完整請求和響應負載記錄到受治理的 Delta 表中。

要開始使用,首先在 Unity Catalog 中註冊 Muse Spark 1.1 作為模型提供商服務。由於 Muse Spark 與 OpenAI 的響應 API 相容,因此可以使用 OpenAI 提供商型別進行註冊,提供 API 金鑰和基礎 URL。註冊後,API 金鑰在 Unity Catalog 中加密儲存,且模型列表嚴格定義允許的模型。

然後,授予使用者或組 EXECUTE 許可權,以便他們可以查詢模型。查詢時,客戶端使用 OpenAI 相容端點,並新增一個額外的標頭以標識服務。Unity AI Gateway 會驗證許可權,應用速率限制和護欄,然後將請求路由到 Meta。

最後,監控和日誌記錄預設啟用。使用資訊(令牌、延遲、成本)報告到系統表,並可透過策略新增自定義護欄,如個人身份資訊(PII)檢測和防止提示注入。

模型提供商服務現已在 AWS、Azure 和 GCP 上可用。賬戶管理員可以透過賬戶控制台的預覽頁面啟用該預覽。