AI News HubLIVE
站内改写

LangSmith 現已在 Azure 市場中作為可交易產品推出

LangSmith 是一個用於 LLM 應用的統一 DevOps 平臺,現已在 Azure 市場中作為 Azure Kubernetes 應用提供,支援在 Azure VPC 內部署,完全控制資料,並支援 MACC 信用額度。

文章情報

工程師入門

要點

  • LangSmith 現可透過 Azure 市場購買,作為 Azure Kubernetes 應用部署。
  • 資料完全保留在 Azure VPC 內,無需與第三方共享。
  • 客戶可使用 Microsoft Azure 消費承諾(MACC)信用額度購買 LangSmith。
  • LangSmith 提供可觀測性、評估、部署和提示管理等功能。

為什麼重要

這條新聞值得關注,因為LangSmith 現可透過 Azure 市場購買,作為 Azure Kubernetes 應用部署。

技術影響

可能影響模型選型、推理成本、產品能力和評測基準。

今天我們激動地宣佈,企業現在可以透過 Azure 市場購買 LangSmith 作為 Azure Kubernetes 應用。LangSmith 是一個統一的 DevOps 平臺,用於開發、協作、測試和監控 LLM 應用,無論是否使用 LangChain 構建。LangSmith 已迅速成為企業將 LLM 應用從原型推向生產的首選平臺,其客戶包括 Moody's、Elastic、Rakuten 和 BCG,他們依靠該平臺構建高質量、可擴充套件的生成式 AI 應用。

Moody's 機器學習總監 Han-chung Lee 表示:“作為創新和技術的領導者,Moody's 優先對我們生成式 AI 驅動的工具進行徹底測試和評估。為了建立企業級和客戶信賴的應用,LangSmith 幫助我們在開發和測試階段保持工程嚴謹性,使我們能夠在釋出前對 LLM 應用進行壓力測試。這讓我們在持續利用生成式 AI 解碼風險、解鎖機遇的使命中充滿信心。”

我們很高興深化與微軟的合作,透過 Azure 市場為共同客戶提供更簡便的採購選項,並具備滿足最嚴格資訊安全與合規團隊要求的資料安全態勢。

LangSmith 的優勢 透過 LangSmith 的除錯、測試、監控和提示管理模組,企業客戶可受益於:

  • **提高生產 LLM 應用的使用者互動可見性**:LangSmith 為工程團隊提供跟蹤級細節,瞭解終端使用者向 LLM 應用詢問了什麼以及應用如何響應。透過輕鬆新增終端使用者反饋的軌跡,LangSmith 提供了補救和持續改進所需的可觀測性,確保效能和質量的保駕護航、對話的可審計性以及在互動未達預期時的可解釋性。
  • **更完整的測試覆蓋以提升應用質量**:LLM 應用功能強大但具有獨特特性。非確定性和不可預測的自然語言輸入導致系統可能以無數種方式失敗。LangSmith 重新構想了傳統軟體工程測試,使其更適用於 LLM。透過測試和評估模組,開發者在向終端使用者交付應用前即可建立信心,及早發現迴歸問題並識別應用邏輯變更是否使關鍵指標向正確方向移動。
  • **提升應用開發速度及與領域專家的協作**:LangSmith 幫助開發者除錯應用軌跡,精確定位智慧體或鏈條出現問題的位置。同時,LangSmith 改善了開發者與領域專家(如產品經理或質量保證團隊)在提示構建和標註反饋方面的協作,這些領域往往需要更多終端使用者或行業知識。
  • **更清晰的 ROI 分析以做出更好的業務權衡**:構建 LLM 應用時,通常需要在質量、成本和延遲之間進行權衡。LangSmith 幫助團隊執行實驗,檢查這三個指標,使開發者能夠用資料支援選擇,從而優先處理重要事項並控制支出。

透過 Azure 市場採購 LangSmith 的優勢 透過 Azure 市場採購 LangSmith 時,資料將完全保留在 Azure VPC 中,部署簡便且採購流程更順暢。LangSmith 將在您的 Azure VPC 中執行,因此不會與第三方共享資料。作為監控平臺,LangSmith 記錄了關於終端使用者對 LLM 應用的請求以及應用如何響應的大量有用資訊。當您將 LangSmith 作為 Azure Kubernetes 應用購買時,整個平臺將部署在您的環境中,資料不會離開您的網路,您將完全控制資料管理。此外,資訊安全團隊會欣賞微軟團隊已經審查並認證了 LangSmith 產品,並將持續對映象進行安全漏洞掃描以確保客戶資料和環境的安全。

將 LangSmith 部署到 Azure Kubernetes 服務(AKS)從未如此簡單。我們將為您提供試用許可證,交易後提供生產許可證,以便將 LangSmith 及其依賴項部署到您的 AKS 或 OpenShift 叢集。透過與 Azure Resource Manager(ARM)API 的深度整合,透過 Azure 市場使用 LangSmith 將易於設定和整合。您將每六週獲得一次次要版本更新,並獲得基礎設施團隊的白金級支援,協助部署、更新和持續的可擴充套件性維護。

您還可以使用 Microsoft Azure 消費承諾(MACC)信用額度。許多 Azure 客戶依賴微軟全套產品解決基礎設施和開發需求。LangSmith 已滿足 IP 聯合銷售要求,這意味著您不僅可以使用 Azure 積分購買 LangSmith,而且每花費一美元都將計入 MACC,使團隊的預算審批過程更加輕鬆。

深化 LangChain 與微軟的合作 我們持續投資於 LangChain 與 Azure AI 服務的技術合作,深度整合 Azure OpenAI、Azure AI Search、Microsoft Fabric 等。將產品合作擴充套件到 LangChain 的商業產品 LangSmith 的聯合市場推廣是自然的選擇,有利於我們的客戶。

如果您需要一個支援 LLM 應用全生命週期的平臺,請考慮在 Azure 環境中部署 LangSmith。直接透過 Azure 市場聯絡我們或聯絡銷售團隊與我們的專家開始對話。我們期待與您合作。

額外資源:

  • 部署文件
  • LangSmith 概述
  • LangSmith 演示