兩種規模的Agentic AI：Nanbeige4.2-3B和Laguna S2.1

在最新一期的《The Weekly Kaitchup》中，作者Benjamin Marie聚焦了本週最引人注目的兩款Agentic AI模型：Nanbeige4.2-3B和Laguna S 2.1。這兩款模型都針對代理工作負載進行了優化，包括多步推理、工具使用、與外部環境交互以及需要多步驟完成的任務。然而，它們在規模上截然不同。

Nanbeige4.2-3B是一款緊湊的密集模型，總參數量約40億，非嵌入參數約30億。它的設計目標是讓強大的代理行為能夠運行在消費級和工作站硬件上。該模型採用了循環Transformer架構，而不是傳統的多層Transformer。它包含22個物理解碼器層，但這些層會被執行兩次，實際計算深度相當於44層，而無需存儲44個獨立層。這種設計減少了權重內存，但推理計算量並未減少到普通22層模型的程度，每個token仍需要兩次通過Transformer堆棧。模型有48個注意力頭，每個頭維度128，以及8個鍵值頭。值得注意的是，循環設計引入了額外的內存考慮，除非實現顯式共享KV緩存狀態，否則每次循環可能需要單獨的鍵值條目。作者建議，對於循環Transformer模型，命名應更明確，例如採用“3B-2P”表示3B參數和2次通過。

關於內存消耗，一個16GB GPU在謹慎設置下可以運行未量化模型，但中等上下文長度可能受限；24GB GPU則更寬裕。根據模型參數，KV緩存消耗估計為每緩存token約176 KiB。在16K token時，KV緩存約需2.75 GiB；而使用256K上下文時，單個活動序列可能需要約44 GiB，這幾乎是Qwen3.6 27B在相同上下文長度下的兩倍。部署方面，Nanbeige提供了專門的vLLM分支，支持OpenAI兼容API，並帶有推理解析器和工具調用解析器，這對於代理框架至關重要。聊天模板提供了enable_thinking和preserve_thinking選項，用於控制推理過程。性能方面，根據官方評估，Nanbeige在大多數代理、編碼和推理任務上超越了Qwen3.5-9B和Gemma 4 12B。

Laguna S 2.1則是一個規模大得多的MoE模型，總參數量1180億，但每個token僅激活約80億參數。它包含48個transformer層，其中12層使用全局注意力，36層使用滑動窗口注意力（窗口大小512），兩者以約1:3的比例交錯。這種設計使得信息能夠跨越整個輸入上下文，同時降低了長上下文推理的成本。模型有256個路由專家和1個共享專家，每個token選擇top 10個路由專家。此外，它採用了每頭softplus輸出門控，允許每個注意力頭擁有獨立的音量控制，從而增強有用的注意力頭。Laguna還支持交錯推理，即模型可以推理、發出工具調用、接收結果後繼續推理，然後再選擇下一個動作。Poolside還提供了DFlash草案模型用於推測解碼。

部署方面，Laguna支持vLLM 0.25.0及以上版本，可在單塊B300 GPU上運行。INT4版本消耗低於80 GB，但需要96 GB GPU（如RTX Pro 6000）才能充分利用其上下文長度。對於編碼代理工作負載，Poolside也建議保留之前的推理內容。KV緩存方面，256K token時估計消耗約24 GB。Laguna的主要應用場景是長週期軟件工程，包括倉庫級錯誤修復、終端交互、shell工作流、多語言代碼維護等。儘管其稀疏架構和編碼聚焦訓練在終端交互和倉庫級推理方面表現出色，但社區反饋褒貶不一。

總的來説，這兩款模型代表了代理AI的不同路徑：Nanbeige通過在小權重組上重複計算實現能力，而Laguna通過稀疏訪問更大的參數池。作者表示將花時間測試這兩款模型，並可能撰寫關於它們用於代理編碼的文章。此外，文章還提供了一份與Verda合作的50美元優惠券，用於嘗試其GPU服務。