異なるスケールのエージェンティックAI：Nanbeige4.2-3BとLaguna S2.1
本記事では、今週リリースされたエージェンティックワークロード向けの2つの注目モデル、Nanbeige4.2-3BとLaguna S 2.1を分析します。Nanbeige4.2-3Bはループ型トランスフォーマーアーキテクチャを採用したコンパクトな高密度モデルで、コンシューマ向けハードウェアに適しています。Laguna S 2.1は1180億パラメータのMoEモデルで、ソフトウェアエンジニアリングタスクに特化しています。本記事では、それらのアーキテクチャ、推論効率、メモリ消費、vLLMを用いたデプロイ方法について詳述します。
最新の『The Weekly Kaitchup』で、Benjamin Marie氏は今週最も注目すべきエージェンティックAIモデル2つ、Nanbeige4.2-3BとLaguna S 2.1に焦点を当てました。どちらもマルチステップ推論、ツール使用、外部環境とのインタラクション、複数のアクションを要するタスクといったエージェントワークロード向けに最適化されていますが、そのスケールは大きく異なります。
Nanbeige4.2-3Bはコンパクトな高密度モデルで、総パラメータ数は約40億、非埋め込みパラメータは約30億です。コンシューマ向けやワークステーション向けハードウェアで実用的なエージェント動作を実現することを目的としています。このモデルは、従来の多層トランスフォーマーではなく、ループ型トランスフォーマーアーキテクチャを採用しています。22の物理デコーダ層を持ち、これらが2回実行されることで、44層分の深さの計算を実現しつつ、44の独立した層を保存する必要はありません。この設計により重みメモリは削減されますが、推論計算量は通常の22層モデルに比べて減少せず、各トークンはトランスフォーマースタックを2回通過する必要があります。モデルは48のアテンションヘッド（次元128）と8つのキーバリューヘッドを持ちます。ループ設計により、KVキャッシュ状態が明示的に共有されない限り、各ループで別々のキーバリューエントリが必要となる可能性があり、メモリ消費が増加します。著者は、ループ型トランスフォーマーモデルには「3B-2P」（2パス）のような命名規則を提案しています。
メモリ消費について、16GB GPUであれば注意深く設定することで、未量子化モデルを中程度のコンテキスト長で実行可能ですが、24GB GPUの方が長いプロンプトや高い同時実行性に余裕があります。KVキャッシュ消費は、キャッシュされたトークンあたり約176 KiBと推定されます。16Kトークンでは約2.75 GiB、256Kコンテキストでは単一のアクティブシーケンスで約44 GiBが必要となり、これはQwen3.6 27Bの同じコンテキスト長での消費量の約2倍です。デプロイに関しては、Nanbeigeは専用のvLLMブランチを提供しており、OpenAI互換APIを介してモデルを提供できます。推論パーサーとツール呼び出しパーサーはエージェントフレームワークにとって重要で、vLLMが推論コンテンツと構造化ツール呼び出しを通常のアシスタントテキストから分離できるようにします。チャットテンプレートにはenable_thinkingとpreserve_thinkingの2つのオプションがあり、推論の表示と履歴保持を制御します。パフォーマンスについては、公開評価によると、Nanbeigeは含まれるエージェント、コーディング、推論タスクのほとんどでQwen3.5-9Bを上回り、GDPval、SWE-Bench Verified、SWE-Bench Pro、Terminal-Bench 2.0などのベンチマークでGemma 4 12Bも凌駕しました。
一方、Laguna S 2.1ははるかに大規模なコーディング特化型MoEモデルです。総パラメータ数は1180億ですが、各トークンで活性化されるのは約80億パラメータのみです。ルーティング機構が推論時に専門家のサブセットを選択し、すべてのパラメータを実行することなく大規模な学習パラメータプールにアクセスできるようにします。48のトランスフォーマー層を持ち、そのうち12層がグローバルアテンション、残り36層がスライディングウィンドウアテンション（ウィンドウサイズ512）を使用し、約1:3の割合で交互に配置されています。グローバル層は情報が入力コンテキスト全体を行き来できるようにし、スライディングウィンドウ層はアテンションを近傍トークンに制限することで、長コンテキスト推論のコストとKVキャッシュの成長を抑えます。モデルは256のルーティング専門家と1つの共有専門家を含み、各トークンに対してルーターが共有計算に加えて上位10のルーティング専門家を選択します。また、ヘッドごとのソフトプラス出力ゲーティングを採用し、各アテンションヘッドが独自の音量制御を持ち、有用なヘッドを強化できるようにしています。さらに、モデルはインターリーブ推論をサポートし、推論、ツール呼び出し、結果受信、再推論を選択的に行えます。Poolsideは投機的復号用のDFlashドラフトモデルも提供しています。
デプロイについては、LagunaはvLLM 0.25.0以降でサポートされており、単一のB300 GPUで実行可能です。INT4版は80 GB未満の消費ですが、モデルのコンテキスト長を活用するには96 GB GPU（RTX Pro 6000など）が必要です。コーディングエージェントワークロードでは、Poolsideも会話履歴に以前の推論内容を保持することを推奨しています。KVキャッシュのメモリ消費は、256Kトークンで約24 GBと推定されます。Lagunaの主なターゲットは長期ソフトウェアエンジニアリングであり、リポジトリレベルのバグ修正、端末操作、シェルベースのワークフロー、多言語コード保守、コードベース探索などが含まれます。そのスパースアーキテクチャとコーディング重視のトレーニングは端末操作やリポジトリレベルの推論に特に効果的ですが、コミュニティからのフィードバックは賛否両論です。
全体として、これらのモデルはエージェントAIへの異なるアプローチを示しています。Nanbeigeは比較的小さな重みセットでの反復計算により能力を実現し、Lagunaはより大規模なパラメータプールへのスパースアクセスにより実現しています。著者は両モデルをテストし、エージェンティックコーディングへの応用に関する記事を執筆する予定です。また、VerdaとのコラボレーションによるGPUサービス試用のための50ドルクーポンも提供されています。