Baseten Blog

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：AI models Introducing NVIDIA Nemotron 3.5 ASR Streaming Deploy NVIDIA Nemotron 3.5 ASR for low-latency, production-ready speech recognition with 6x higher throughput and multilingual support. Authors Ansel Erol Ian Carr…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：AI models Laguna S 2.1 goes Greek: a repository-scale game transformation We put Poolside’s new Laguna S 2.1 model to the test, tasking it with a repository-scale transformation of the open-source game Hypersomnia. Auth…

本文介紹如何微調Qwen3-TTS實現高質量語音克隆，對比ICL、僅說話人嵌入和微調三種方式，並給出完整訓練流程。基於約1.5小時LJ Speech資料在單張H100上訓練約1小時，微調模型TTFA約130ms，比ICL快約16%，並省去推理時的參考音訊處理。

本文追溯了從GPT-2（1.24億引數）到Kimi K3（2.8萬億引數）的架構演進，七年間規模增長22580倍。文章解釋了關鍵創新，包括KV快取、線性注意力和DeltaNet，揭示了基礎機制如何演化以支撐巨大規模。

Baseten Switch 是一款本地 Mac 應用，可讓您在流行的人工智慧框架（如 Claude Code 和 Codex）中無縫混合執行開源和閉源模型，只需切換開關即可在 Kimi K3、GLM 5.2 等模型之間切換，並跟蹤成本、效能和使用情況。

Baseten釋出了專為閉權模型實驗室設計的新平臺Baseten for Model Labs，提供推理基礎設施、模型分發、智慧財產權保護和市場推廣支援，幫助實驗室快速實現模型貨幣化。已有15個合作伙伴如Cartesia、Gradium、Inception、NVIDIA等參與。平臺旨在促進多樣化的模型生態系統發展。

Baseten推出了新的分詞器（Basetenkenizer），將Kimi K3的分詞速度提升多達18倍，適用於百萬令牌的代理工作負載。它結合了基於Rust的最佳化技術，包括專用預分詞、BPE合併、多核分塊和零複製NumPy傳輸，同時保持與tiktoken完全一致的令牌ID。這一改進顯著降低了長輸入序列的首令牌時間，尤其是在字首快取命中率高的情況下。

Baseten 為 Kimi K3 提供了 Day-0 支援，這是一個 2.8T 引數的新前沿開放模型。本文介紹了在釋出日前執行該模型所需的技術工作，包括硬體配置、權重載入、推理引擎整合、質量驗證、效能最佳化和規模化部署。

我們推出了一個新的模型API服務層級——GLM-5.2 Fast，專為即時代理工作負載最佳化，提供與標準GLM-5.2相同的權重，但基礎設施針對每使用者吞吐量進行了調整，以實現低延遲和穩定的效能。

本文對比了H100和H200 GPU在AI推理中的表現。H100適合中小模型和低流量場景，價效比高；H200憑藉更大的HBM3e視訊記憶體和更高頻寬，更適合大模型、長上下文推理和高KV快取需求。文章還介紹了MIG分割槽和非同步程式設計等技術。

本文介紹了多種最佳化LLM推理延遲和成本的技術，包括連續批處理、推測解碼、KV快取最佳化、量化、核心最佳化、智慧路由、拓撲感知並行以及分離式預填充和解碼。根據工作負載選擇合適的組合。

Notion和Gamma的經驗表明，選擇AI模型時應考慮成本、可靠性、任務匹配度，並善用開源模型。不要預設使用最強大的模型，而是根據具體工作流選擇最經濟高效的模型。

研究人員透過訓練一個僅5000萬引數的MLP投影器，成功為開源語言模型GLM 5.2新增了視覺功能，使其在MMMU-Pro上達到與Claude 4.5 Haiku相當的效能（55%）。該過程使用Kimi K2.6的視覺塔，僅訓練投影器，並在SFT和RL階段觀察到“頓悟”現象，模型甚至能識別訓練資料中未出現的人物（如史蒂芬·霍金）。

Baseten 的模型效能團隊透過時間步蒸餾、自定義核心最佳化和 NVFP4 量化，將 Wan 2.2 影片生成速度提升至每片段 2.75 秒，相比基線實現加速 53.6 倍。

NVIDIA 釋出 Nemotron 3 Embed 系列嵌入模型，提供 8B 和 1B 兩種規模，現已在 Baseten 平臺上線。8B 模型在檢索基準測試中領先，1B 模型透過剪枝和蒸餾保留了 95% 的準確率，同時顯著降低延遲和成本。文章還介紹了與 turbopuffer 的合作，以及微調方法。

Thinking Machines Lab 釋出了 Inkling，一個擁有 9750 億引數的開源權重多模態模型，支援文本、影像和音訊輸入，採用混合專家架構，活躍引數為 410 億。Baseten 提供首發支援。

StepFun 的 Step 3.7 Flash 是一款 1980 億引數的稀疏 MoE 視覺語言模型，現已在 Baseten 模型庫中以硬體高效配置提供。該模型支援多模態輸入、256k 上下文視窗和靈活推理，專為代理工作流設計。透過 FP8 量化，可在 4 塊 H100 GPU 上部署，大幅降低成本。

NVIDIA Nemotron 3 Ultra結合LangChain Deep Agents，在Baseten上以約10倍低的成本實現了頂尖的開放模型智慧體準確率。本文介紹如何設定和使用該組合構建合規性審查智慧體。

H100、H200和B200 GPU在記憶體、計算和成本方面各有不同的權衡。本文幫助您根據模型大小、流量和預算選擇最合適的GPU。

AI訓練讓模型從資料中學習，而推理則是模型在生產中響應請求。本文詳細解釋了兩者在硬體、成本、最佳化等方面的關鍵差異，並介紹了模型從預訓練到服務的完整生命週期，以及衡量推理效能的四個關鍵指標。

GLM-5.2是今年的DeepSeek時刻，效能與閉源模型相當，但速度快4.5倍、成本低5倍。本文詳細介紹如何在Claude Code、Codex和Deep Agents CLI中配置並使用GLM-5.2，整個過程不到5分鐘。

NVIDIA BioNeMo Agent Toolkit 旨在將通用 AI 智慧體轉變為能夠執行真實生物學和藥物發現任務的科學智慧體。該工具包結合了 BioNeMo Skills、開放模型、NVIDIA NIM 微服務和智慧體基礎設施，支援蛋白質結構預測、蛋白質設計、虛擬篩選、基因組分析和靶點發現等流程。所有 BioNeMo NIM 微服務現已在 Baseten 模型庫中可用，方便開發者部署和擴充套件科學 AI 應用。

本文比較了8款頂級開源LLM，涵蓋DeepSeek V4 Pro、Gemma 4、GLM 5.1、GPT OSS 120B、Kimi K2.6、MiniMax M3、Nemotron 3 Ultra和Qwen 3.6。針對智慧編碼、長上下文推理、成本和速度等不同需求，提供了選型建議。

Baseten 推出滾動部署功能，允許團隊逐步更新模型版本，無需停機或加倍 GPU 開銷。該方法在每次替換一個副本，逐步轉移流量，並提供暫停、恢復和回滾控制。使用者報告部署頻率提升 50–60%，無需在非高峰時段手動監控。

Inception推出的Mercury 2是目前速度最快的推理LLM，採用擴散架構而非傳統自迴歸方式，在標準NVIDIA GPU上可達到每秒1000 token以上的生成速度，速度是同級模型的5-10倍，成本降低一半以上，質量與Haiku和GPT-5 mini相當。Augment Code在生產環境中使用後，成本降低90%，延遲降低82%。Baseten為其提供企業級推理平臺支援。

Nemotron 3 Ultra 是一種混合 Mamba-Transformer 模型，專為長時間執行的代理設計，透過用 Mamba 層替換大部分注意力機制，實現高達 5 倍的推理速度提升和 30% 的成本降低。該模型完全開源，使代理能夠高效完成冗長任務而不會變慢。

Baseten 與微軟 AI 宣佈，MAI-Thinking-1 即將在 Baseten 平臺上提供。該模型是微軟 AI 的旗艦推理模型，結合了開源模型的靈活性與閉源模型的管理便利性，具有乾淨資料來源、商業級質量和定製化能力。

Nvidia釋出的Cosmos 3是一個專為物理世界構建的基礎模型，旨在幫助開發者訓練機器人、自動駕駛系統和視覺AI代理。與傳統的生成式影片模型不同，Cosmos 3著重於理解物體、動作和因果關係，支援六種互動模式，可作為機器人直接控制器或資料工廠，大幅降低機器人訓練的資料成本。

Baseten與Trajectory合作構建了一個生產級推理流水線，實現模型的持續學習：模型透過生產資料不斷更新，訓練到部署的時間壓縮至約一小時。該流水線融合了LoRA介面卡合併、架構感知驗證、A/B測試路由與來源追蹤，使模型在使用中持續改進。

本文介紹了開源AI模型的基本概念、工作原理及使用場景。開源模型通常指開放權重的模型，使用者可以對其進行微調和部署，相比閉源模型具有成本低、可定製性強等優勢。文章還討論了開源與閉源模型的比較、適用時機以及未來發展趨勢。