使用NVIDIA Nemotron 3 Ultra和LangChain Deep Agents在Baseten上構建智慧體

AI工程

使用NVIDIA Nemotron 3 Ultra和LangChain Deep Agents在Baseten上構建智慧體

隨著AI應用中的工具鏈變得越來越重要，模型與工具鏈的協同開發正不斷推動超越模型原始基準的能力。對於同時擁有模型和工具鏈的開發者來說，這一改進迴圈早已顯而易見。然而，依賴開放模型和第三方工具鏈的開發者此前並未享受到同樣的便利。

這一局面隨著LangChain Deep Agents配置檔案的出現而改變。這些模型特定的配置檔案能調整提示、工具描述、中介軟體和子智慧體，使工具鏈行為與模型的特性相匹配。

今天，LangChain團隊釋出了針對NVIDIA Nemotron 3 Ultra的Deep Agents配置檔案。有了這個配置檔案，NVIDIA Nemotron 3 Ultra在LangChain Deep Agents評估套件中獲得了開放模型中最高的智慧體準確率，而成本僅為領先封閉替代方案的約十分之一。

實現這樣的效能結果無需微調底層模型或更改服務基礎設施。因此，該配置可直接與Baseten為NVIDIA Nemotron 3 Ultra提供的快速、經濟的模型API配合使用。下面，我將介紹如何透過Baseten設定NVIDIA Nemotron 3 Ultra與LangChain Deep Agents Code。

使用Baseten設定LangChain Deep Agents Code（dcode）

我們將構建的系統包含四個元件：

模型：NVIDIA Nemotron 3 Ultra。 推理提供商：Baseten，它以模型API形式託管NVIDIA Nemotron 3 Ultra。 工具鏈：LangChain dcode，一個開源包。 配置檔案：一組為LangChain Deep Agents所做的模型特定修改。

不過，設定只需兩步。

首先，安裝帶有Baseten支援的最新版LangChain dcode。

!curl -LsSf https://langch.in/dcode | bash !dcode --install baseten --yes

然後，獲取你的Baseten API金鑰（若沒有則建立賬戶），並確保在環境中設定為BASETEN_API_KEY。

之後，模型slug baseten:nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55B便可在dcode中使用。NVIDIA Nemotron 3 Ultra的配置檔案會在檢測到模型時自動應用，無需額外步驟來安裝或啟用。

構建簡單智慧體

在本示例中，我們將構建一個用於審查提議工作流程並標記潛在合規性錯誤的智慧體。這是金融服務和醫療保健等多個行業正在構建的智慧體的高度簡化版本。對於這些智慧體，高準確率和低任務成本對於投入生產至關重要。

讓我們設想幾個示例工作流程作為智慧體的輸入。

（程式碼略）

我們將使用NVIDIA Nemotron 3 Ultra透過dcode處理這些任務。提醒一下，配置檔案會根據模型slug自動應用。

（程式碼略）

智慧體使用檔案讀取工具讀取任務，然後使用檔案寫入工具建立輸出。這可以透過在工具鏈中實現建立工單、傳送Slack訊息和更新專案狀態等工具來擴充套件。

雖然生產級智慧體要複雜得多，但這個示例表明，使用模型特定的配置檔案，在dcode中幾乎不需要更改程式碼就能以約10倍低的成本獲得前沿效能。

透過Baseten的NVIDIA Nemotron 3 Ultra模型API和LangChain Deep Agents Code，你可以立即開始構建前沿智慧體。

訂閱我們的新聞通訊

隨時瞭解模型效能、推理基礎設施等最新動態。