Baseten Blog

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：AI models Introducing NVIDIA Nemotron 3.5 ASR Streaming Deploy NVIDIA Nemotron 3.5 ASR for low-latency, production-ready speech recognition with 6x higher throughput and multilingual support. Authors Ansel Erol Ian Carr…

AI 服務暫時不可用，以下為來源摘要，待恢復後補全翻譯：AI models Laguna S 2.1 goes Greek: a repository-scale game transformation We put Poolside’s new Laguna S 2.1 model to the test, tasking it with a repository-scale transformation of the open-source game Hypersomnia. Auth…

本文介紹如何微調Qwen3-TTS實現高質量語音克隆，對比ICL、僅説話人嵌入和微調三種方式，並給出完整訓練流程。基於約1.5小時LJ Speech數據在單張H100上訓練約1小時，微調模型TTFA約130ms，比ICL快約16%，並省去推理時的參考音頻處理。

本文追溯了從GPT-2（1.24億參數）到Kimi K3（2.8萬億參數）的架構演進，七年間規模增長22580倍。文章解釋了關鍵創新，包括KV緩存、線性注意力和DeltaNet，揭示了基礎機制如何演化以支撐巨大規模。

Baseten Switch 是一款本地 Mac 應用，可讓您在流行的人工智能框架（如 Claude Code 和 Codex）中無縫混合運行開源和閉源模型，只需切換開關即可在 Kimi K3、GLM 5.2 等模型之間切換，並跟蹤成本、性能和使用情況。

Baseten發佈了專為閉權模型實驗室設計的新平台Baseten for Model Labs，提供推理基礎設施、模型分發、知識產權保護和市場推廣支持，幫助實驗室快速實現模型貨幣化。已有15個合作伙伴如Cartesia、Gradium、Inception、NVIDIA等參與。平台旨在促進多樣化的模型生態系統發展。

Baseten推出了新的分詞器（Basetenkenizer），將Kimi K3的分詞速度提升多達18倍，適用於百萬令牌的代理工作負載。它結合了基於Rust的優化技術，包括專用預分詞、BPE合併、多核分塊和零拷貝NumPy傳輸，同時保持與tiktoken完全一致的令牌ID。這一改進顯著降低了長輸入序列的首令牌時間，尤其是在前綴緩存命中率高的情況下。

Baseten 為 Kimi K3 提供了 Day-0 支持，這是一個 2.8T 參數的新前沿開放模型。本文介紹了在發佈日前運行該模型所需的技術工作，包括硬件配置、權重加載、推理引擎集成、質量驗證、性能優化和規模化部署。

我們推出了一個新的模型API服務層級——GLM-5.2 Fast，專為實時代理工作負載優化，提供與標準GLM-5.2相同的權重，但基礎設施針對每用户吞吐量進行了調整，以實現低延遲和穩定的性能。

本文對比了H100和H200 GPU在AI推理中的表現。H100適合中小模型和低流量場景，性價比高；H200憑藉更大的HBM3e顯存和更高帶寬，更適合大模型、長上下文推理和高KV緩存需求。文章還介紹了MIG分區和異步編程等技術。

本文介紹了多種優化LLM推理延遲和成本的技術，包括連續批處理、推測解碼、KV緩存優化、量化、內核優化、智能路由、拓撲感知並行以及分離式預填充和解碼。根據工作負載選擇合適的組合。

Notion和Gamma的經驗表明，選擇AI模型時應考慮成本、可靠性、任務匹配度，並善用開源模型。不要默認使用最強大的模型，而是根據具體工作流選擇最經濟高效的模型。

研究人員通過訓練一個僅5000萬參數的MLP投影器，成功為開源語言模型GLM 5.2添加了視覺功能，使其在MMMU-Pro上達到與Claude 4.5 Haiku相當的性能（55%）。該過程使用Kimi K2.6的視覺塔，僅訓練投影器，並在SFT和RL階段觀察到“頓悟”現象，模型甚至能識別訓練數據中未出現的人物（如史蒂芬·霍金）。

Baseten 的模型性能團隊通過時間步蒸餾、自定義內核優化和 NVFP4 量化，將 Wan 2.2 視頻生成速度提升至每片段 2.75 秒，相比基線實現加速 53.6 倍。

NVIDIA 發佈 Nemotron 3 Embed 系列嵌入模型，提供 8B 和 1B 兩種規模，現已在 Baseten 平台上線。8B 模型在檢索基準測試中領先，1B 模型通過剪枝和蒸餾保留了 95% 的準確率，同時顯著降低延遲和成本。文章還介紹了與 turbopuffer 的合作，以及微調方法。

Thinking Machines Lab 發佈了 Inkling，一個擁有 9750 億參數的開源權重多模態模型，支持文本、圖像和音頻輸入，採用混合專家架構，活躍參數為 410 億。Baseten 提供首發支持。

StepFun 的 Step 3.7 Flash 是一款 1980 億參數的稀疏 MoE 視覺語言模型，現已在 Baseten 模型庫中以硬件高效配置提供。該模型支持多模態輸入、256k 上下文窗口和靈活推理，專為代理工作流設計。通過 FP8 量化，可在 4 塊 H100 GPU 上部署，大幅降低成本。

NVIDIA Nemotron 3 Ultra結合LangChain Deep Agents，在Baseten上以約10倍低的成本實現了頂尖的開放模型智能體準確率。本文介紹如何設置和使用該組合構建合規性審查智能體。

H100、H200和B200 GPU在內存、計算和成本方面各有不同的權衡。本文幫助您根據模型大小、流量和預算選擇最合適的GPU。

AI訓練讓模型從數據中學習，而推理則是模型在生產中響應請求。本文詳細解釋了兩者在硬件、成本、優化等方面的關鍵差異，並介紹了模型從預訓練到服務的完整生命週期，以及衡量推理性能的四個關鍵指標。

GLM-5.2是今年的DeepSeek時刻，性能與閉源模型相當，但速度快4.5倍、成本低5倍。本文詳細介紹如何在Claude Code、Codex和Deep Agents CLI中配置並使用GLM-5.2，整個過程不到5分鐘。

NVIDIA BioNeMo Agent Toolkit 旨在將通用 AI 智能體轉變為能夠執行真實生物學和藥物發現任務的科學智能體。該工具包結合了 BioNeMo Skills、開放模型、NVIDIA NIM 微服務和智能體基礎設施，支持蛋白質結構預測、蛋白質設計、虛擬篩選、基因組分析和靶點發現等流程。所有 BioNeMo NIM 微服務現已在 Baseten 模型庫中可用，方便開發者部署和擴展科學 AI 應用。

本文比較了8款頂級開源LLM，涵蓋DeepSeek V4 Pro、Gemma 4、GLM 5.1、GPT OSS 120B、Kimi K2.6、MiniMax M3、Nemotron 3 Ultra和Qwen 3.6。針對智能編碼、長上下文推理、成本和速度等不同需求，提供了選型建議。

Baseten 推出滾動部署功能，允許團隊逐步更新模型版本，無需停機或加倍 GPU 開銷。該方法在每次替換一個副本，逐步轉移流量，並提供暫停、恢復和回滾控制。用户報告部署頻率提升 50–60%，無需在非高峯時段手動監控。

Inception推出的Mercury 2是目前速度最快的推理LLM，採用擴散架構而非傳統自迴歸方式，在標準NVIDIA GPU上可達到每秒1000 token以上的生成速度，速度是同級模型的5-10倍，成本降低一半以上，質量與Haiku和GPT-5 mini相當。Augment Code在生產環境中使用後，成本降低90%，延遲降低82%。Baseten為其提供企業級推理平台支持。

Nemotron 3 Ultra 是一種混合 Mamba-Transformer 模型，專為長時間運行的代理設計，通過用 Mamba 層替換大部分注意力機制，實現高達 5 倍的推理速度提升和 30% 的成本降低。該模型完全開源，使代理能夠高效完成冗長任務而不會變慢。

Baseten 與微軟 AI 宣佈，MAI-Thinking-1 即將在 Baseten 平台上提供。該模型是微軟 AI 的旗艦推理模型，結合了開源模型的靈活性與閉源模型的管理便利性，具有乾淨數據來源、商業級質量和定製化能力。

Nvidia發佈的Cosmos 3是一個專為物理世界構建的基礎模型，旨在幫助開發者訓練機器人、自動駕駛系統和視覺AI代理。與傳統的生成式視頻模型不同，Cosmos 3着重於理解物體、動作和因果關係，支持六種交互模式，可作為機器人直接控制器或數據工廠，大幅降低機器人訓練的數據成本。

Baseten與Trajectory合作構建了一個生產級推理流水線，實現模型的持續學習：模型通過生產數據不斷更新，訓練到部署的時間壓縮至約一小時。該流水線融合了LoRA適配器合併、架構感知驗證、A/B測試路由與來源追蹤，使模型在使用中持續改進。

本文介紹了開源AI模型的基本概念、工作原理及使用場景。開源模型通常指開放權重的模型，用户可以對其進行微調和部署，相比閉源模型具有成本低、可定製性強等優勢。文章還討論了開源與閉源模型的比較、適用時機以及未來發展趨勢。