今天我们自豪地宣布，Baseten 平台从第一天起就支持 Thinking Machines Lab 的最新开源权重模型 Inkling。
Inkling 是一个通用、多模态的自回归 Transformer 模型，能够处理文本、图像和音频输入，并生成文本输出。它预训练于 45 万亿 token 的文本、图像、音频和视频数据。Inkling 采用混合专家（MoE）架构，总参数 9750 亿，活跃参数 410 亿，上下文窗口高达 100 万 token。
Thinking Machines Lab 选择“Inkling”这个名字，寓意一个最初的想法，有潜力成长为更伟大的事物。Inkling 构建为一个极其博学、通用的基础模型，可通过微调进行扩展。它专为开发 AI 应用程序的开发者设计，包括代理和工具使用系统、编码助手、聊天机器人和检索增强生成系统。
在技术架构上，Inkling 是一个 66 层的稀疏 MoE Transformer，总参数 9750 亿，活跃参数 410 亿。每个 token 通过 256 个专家中的 6 个以及 2 个共享专家进行路由，从而在不激活全部参数的情况下利用广泛的能力。评估显示，它在推理、编码、视觉、音频和安全性方面表现出色。
开源权重为用户提供了更多的定制和部署控制权，但也带来了巨大的基础设施需求：BF16 检查点至少需要 2 TB 的 GPU 总内存，而 NVFP4 检查点则需要至少 600 GB。将 9750 亿参数的模型投入生产并非易事。
Baseten 负责部署 Inkling 所需的基础设施，包括自动扩展、权重分发和跨云容量管理。Baseten 推理堆栈提供自动扩展器，可根据需求变化添加或删除模型副本；Baseten 分发网络将模型权重靠近可用计算资源，并在多个副本同时启动时协调下载，实现 2-3 倍的冷启动加速。多云容量管理将来自 20 多个云的 GPU 整合到一个全球池中，确保即使某个云容量不足，工作负载也能在其他云中运行。
您今天即可通过 Baseten Model APIs 和 Dedicated Inference 开始使用 Inkling。我们期待看到您用它构建的精彩应用。