Baseten上でNVIDIA Nemotron 3 UltraとLangChain Deep Agentsを使用したエージェント構築

AIエンジニアリング

Baseten上でNVIDIA Nemotron 3 UltraとLangChain Deep Agentsを使用したエージェント構築

AIアプリケーションにおいてハーネス（ツールチェーン）の重要性が増すにつれ、モデルとハーネスの共同開発はモデルのベースラインを超える能力を促進しています。モデルとハーネスの両方を開発・所有するアプリケーション開発者にとって、この改善サイクルは以前から明らかでした。しかし、オープンモデルとサードパーティのハーネスで構築する開発者は、同じ利便性を享受できていませんでした。

この状況は、LangChain Deep Agentsハーネスプロファイルの登場により変わりました。これらのモデル固有のプロファイルは、プロンプト、ツールの説明、ミドルウェア、サブエージェントに対する変更をエンコードし、ハーネスの動作をモデルの特性に合わせます。

本日、LangChainチームはNVIDIA Nemotron 3 Ultra向けにチューニングされたDeep Agentsハーネスプロファイルをリリースしました。このプロファイルにより、NVIDIA Nemotron 3 UltraはLangChain Deep Agents評価スイートにおいて、オープンモデルの中でトップのエージェント精度を達成し、主要なクローズド代替品と比較して約10倍低いコストを実現します。

これらのパフォーマンス結果を達成するために、基盤モデルのファインチューニングやサーバーインフラの変更は必要ありません。そのため、Basetenの高速かつコスト効率の高いモデルAPI（NVIDIA Nemotron 3 Ultra用）とそのまま連携できます。以下では、Baseten上でNVIDIA Nemotron 3 UltraをLangChain Deep Agents Codeと共にセットアップする手順を説明します。

Basetenを使ったLangChain Deep Agents Code（dcode）のセットアップ

構築するシステムは4つのコンポーネントで構成されます：

モデル：NVIDIA Nemotron 3 Ultra。 推論プロバイダー：Baseten。NVIDIA Nemotron 3 UltraをモデルAPIとしてホスト。 ハーネス：LangChain dcode（オープンソースパッケージ）。 プロファイル：LangChain Deep Agentsに対するモデル固有の変更セット。

ただし、セットアップは2ステップだけです。

まず、Basetenサポート付きの最新バージョンのLangChain dcodeをインストールします。

!curl -LsSf https://langch.in/dcode | bash !dcode --install baseten --yes

次に、BasetenのAPIキーを取得（アカウントがない場合は作成）し、環境変数BASETEN_API_KEYとして設定します。

その後、モデルスラッグbaseten:nvidia/NVIDIA-Nemotron-3-Ultra-550B-A55Bがdcode内で使用可能になります。NVIDIA Nemotron 3 Ultra用のハーネスプロファイルは、モデルが検出されると自動的に適用されるため、プロファイルをインストールまたはアクティブ化する追加手順は不要です。

シンプルなエージェントの構築

この例では、提案されたワークフローをレビューし、コンプライアンスエラーをフラグするエージェントを構築します。これは、金融サービスやヘルスケアなどの複数の業界で構築されているエージェントの高度に簡略化されたバージョンです。これらのエージェントでは、高い精度とタスクあたりの低コストが本番移行に不可欠です。

エージェントへの入力として、サンプルワークフローをいくつか考えてみましょう。

（コード省略）

NVIDIA Nemotron 3 Ultraを使用して、dcode経由でこれらのチケットを処理します。念のため、ハーネスプロファイルはモデルスラッグに基づいて自動的に適用されます。

（コード省略）

エージェントはファイル読み取りツールを使用してチケットを読み取り、ファイル書き込みツールを使用して出力を作成します。これは、チケット作成、Slackメッセージ送信、プロジェクトステータス更新のためのツールをハーネスに実装することで拡張できます。

本番エージェントははるかに複雑ですが、この例は、モデル固有のハーネスプロファイルを適用することで、dcode内でほとんどコードを変更せずに、約10倍低いコストで最先端のパフォーマンスにアクセスできることを示しています。

BasetenのNVIDIA Nemotron 3 UltraモデルAPIとLangChain Deep Agents Codeを使用すれば、今日から最先端のエージェントの構築を開始できます。

ニュースレターを購読する

モデルパフォーマンス、推論インフラなどに関する最新情報をお届けします。