Baseten Blog

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：AI models Introducing NVIDIA Nemotron 3.5 ASR Streaming Deploy NVIDIA Nemotron 3.5 ASR for low-latency, production-ready speech recognition with 6x higher throughput and multilingual support. Authors Ansel Erol Ian Carr…

AI 服务暂时不可用，以下为来源摘要，待恢复后补全翻译：AI models Laguna S 2.1 goes Greek: a repository-scale game transformation We put Poolside’s new Laguna S 2.1 model to the test, tasking it with a repository-scale transformation of the open-source game Hypersomnia. Auth…

本文介绍如何微调Qwen3-TTS实现高质量语音克隆，对比ICL、仅说话人嵌入和微调三种方式，并给出完整训练流程。基于约1.5小时LJ Speech数据在单张H100上训练约1小时，微调模型TTFA约130ms，比ICL快约16%，并省去推理时的参考音频处理。

本文追溯了从GPT-2（1.24亿参数）到Kimi K3（2.8万亿参数）的架构演进，七年间规模增长22580倍。文章解释了关键创新，包括KV缓存、线性注意力和DeltaNet，揭示了基础机制如何演化以支撑巨大规模。

Baseten Switch 是一款本地 Mac 应用，可让您在流行的人工智能框架（如 Claude Code 和 Codex）中无缝混合运行开源和闭源模型，只需切换开关即可在 Kimi K3、GLM 5.2 等模型之间切换，并跟踪成本、性能和使用情况。

Baseten发布了专为闭权模型实验室设计的新平台Baseten for Model Labs，提供推理基础设施、模型分发、知识产权保护和市场推广支持，帮助实验室快速实现模型货币化。已有15个合作伙伴如Cartesia、Gradium、Inception、NVIDIA等参与。平台旨在促进多样化的模型生态系统发展。

Baseten推出了新的分词器（Basetenkenizer），将Kimi K3的分词速度提升多达18倍，适用于百万令牌的代理工作负载。它结合了基于Rust的优化技术，包括专用预分词、BPE合并、多核分块和零拷贝NumPy传输，同时保持与tiktoken完全一致的令牌ID。这一改进显著降低了长输入序列的首令牌时间，尤其是在前缀缓存命中率高的情况下。

Baseten 为 Kimi K3 提供了 Day-0 支持，这是一个 2.8T 参数的新前沿开放模型。本文介绍了在发布日前运行该模型所需的技术工作，包括硬件配置、权重加载、推理引擎集成、质量验证、性能优化和规模化部署。

我们推出了一个新的模型API服务层级——GLM-5.2 Fast，专为实时代理工作负载优化，提供与标准GLM-5.2相同的权重，但基础设施针对每用户吞吐量进行了调整，以实现低延迟和稳定的性能。

本文对比了H100和H200 GPU在AI推理中的表现。H100适合中小模型和低流量场景，性价比高；H200凭借更大的HBM3e显存和更高带宽，更适合大模型、长上下文推理和高KV缓存需求。文章还介绍了MIG分区和异步编程等技术。

本文介绍了多种优化LLM推理延迟和成本的技术，包括连续批处理、推测解码、KV缓存优化、量化、内核优化、智能路由、拓扑感知并行以及分离式预填充和解码。根据工作负载选择合适的组合。

Notion和Gamma的经验表明，选择AI模型时应考虑成本、可靠性、任务匹配度，并善用开源模型。不要默认使用最强大的模型，而是根据具体工作流选择最经济高效的模型。

研究人员通过训练一个仅5000万参数的MLP投影器，成功为开源语言模型GLM 5.2添加了视觉功能，使其在MMMU-Pro上达到与Claude 4.5 Haiku相当的性能（55%）。该过程使用Kimi K2.6的视觉塔，仅训练投影器，并在SFT和RL阶段观察到“顿悟”现象，模型甚至能识别训练数据中未出现的人物（如史蒂芬·霍金）。

Baseten 的模型性能团队通过时间步蒸馏、自定义内核优化和 NVFP4 量化，将 Wan 2.2 视频生成速度提升至每片段 2.75 秒，相比基线实现加速 53.6 倍。

NVIDIA 发布 Nemotron 3 Embed 系列嵌入模型，提供 8B 和 1B 两种规模，现已在 Baseten 平台上线。8B 模型在检索基准测试中领先，1B 模型通过剪枝和蒸馏保留了 95% 的准确率，同时显著降低延迟和成本。文章还介绍了与 turbopuffer 的合作，以及微调方法。

Thinking Machines Lab 发布了 Inkling，一个拥有 9750 亿参数的开源权重多模态模型，支持文本、图像和音频输入，采用混合专家架构，活跃参数为 410 亿。Baseten 提供首发支持。

StepFun 的 Step 3.7 Flash 是一款 1980 亿参数的稀疏 MoE 视觉语言模型，现已在 Baseten 模型库中以硬件高效配置提供。该模型支持多模态输入、256k 上下文窗口和灵活推理，专为代理工作流设计。通过 FP8 量化，可在 4 块 H100 GPU 上部署，大幅降低成本。

NVIDIA Nemotron 3 Ultra结合LangChain Deep Agents，在Baseten上以约10倍低的成本实现了顶尖的开放模型智能体准确率。本文介绍如何设置和使用该组合构建合规性审查智能体。

H100、H200和B200 GPU在内存、计算和成本方面各有不同的权衡。本文帮助您根据模型大小、流量和预算选择最合适的GPU。

AI训练让模型从数据中学习，而推理则是模型在生产中响应请求。本文详细解释了两者在硬件、成本、优化等方面的关键差异，并介绍了模型从预训练到服务的完整生命周期，以及衡量推理性能的四个关键指标。

GLM-5.2是今年的DeepSeek时刻，性能与闭源模型相当，但速度快4.5倍、成本低5倍。本文详细介绍如何在Claude Code、Codex和Deep Agents CLI中配置并使用GLM-5.2，整个过程不到5分钟。

NVIDIA BioNeMo Agent Toolkit 旨在将通用 AI 智能体转变为能够执行真实生物学和药物发现任务的科学智能体。该工具包结合了 BioNeMo Skills、开放模型、NVIDIA NIM 微服务和智能体基础设施，支持蛋白质结构预测、蛋白质设计、虚拟筛选、基因组分析和靶点发现等流程。所有 BioNeMo NIM 微服务现已在 Baseten 模型库中可用，方便开发者部署和扩展科学 AI 应用。

本文比较了8款顶级开源LLM，涵盖DeepSeek V4 Pro、Gemma 4、GLM 5.1、GPT OSS 120B、Kimi K2.6、MiniMax M3、Nemotron 3 Ultra和Qwen 3.6。针对智能编码、长上下文推理、成本和速度等不同需求，提供了选型建议。

Baseten 推出滚动部署功能，允许团队逐步更新模型版本，无需停机或加倍 GPU 开销。该方法在每次替换一个副本，逐步转移流量，并提供暂停、恢复和回滚控制。用户报告部署频率提升 50–60%，无需在非高峰时段手动监控。

Inception推出的Mercury 2是目前速度最快的推理LLM，采用扩散架构而非传统自回归方式，在标准NVIDIA GPU上可达到每秒1000 token以上的生成速度，速度是同级模型的5-10倍，成本降低一半以上，质量与Haiku和GPT-5 mini相当。Augment Code在生产环境中使用后，成本降低90%，延迟降低82%。Baseten为其提供企业级推理平台支持。

Nemotron 3 Ultra 是一种混合 Mamba-Transformer 模型，专为长时间运行的代理设计，通过用 Mamba 层替换大部分注意力机制，实现高达 5 倍的推理速度提升和 30% 的成本降低。该模型完全开源，使代理能够高效完成冗长任务而不会变慢。

Baseten 与微软 AI 宣布，MAI-Thinking-1 即将在 Baseten 平台上提供。该模型是微软 AI 的旗舰推理模型，结合了开源模型的灵活性与闭源模型的管理便利性，具有干净数据来源、商业级质量和定制化能力。

Nvidia发布的Cosmos 3是一个专为物理世界构建的基础模型，旨在帮助开发者训练机器人、自动驾驶系统和视觉AI代理。与传统的生成式视频模型不同，Cosmos 3着重于理解物体、动作和因果关系，支持六种交互模式，可作为机器人直接控制器或数据工厂，大幅降低机器人训练的数据成本。

Baseten与Trajectory合作构建了一个生产级推理流水线，实现模型的持续学习：模型通过生产数据不断更新，训练到部署的时间压缩至约一小时。该流水线融合了LoRA适配器合并、架构感知验证、A/B测试路由与来源追踪，使模型在使用中持续改进。

本文介绍了开源AI模型的基本概念、工作原理及使用场景。开源模型通常指开放权重的模型，用户可以对其进行微调和部署，相比闭源模型具有成本低、可定制性强等优势。文章还讨论了开源与闭源模型的比较、适用时机以及未来发展趋势。