欢迎Inkling：Thinking Machines的多模态大模型

Thinking Machines于2026年7月15日正式发布了Inkling，这是一个具有里程碑意义的开源多模态大模型。Inkling拥有约1万亿参数，是首批能够原生处理图像、文本和音频输入的大型开放模型之一，其上下文窗口高达100万token，能够处理极长序列。该模型在包含文本、图像、音频和视频在内的45万亿token数据上进行了训练，专注于跨模态推理，并旨在通过微调实现领域适应。

Inkling的架构基于解码器-only的混合专家（MoE）模型，总参数为9750亿，但每次推理仅激活410亿参数。这种稀疏门控机制包含256个专家，每次选择6个路由专家加上2个共享专家，从而实现高效的推理。在注意力机制方面，Inkling采用了相对注意力，直接学习位置信息，而非使用传统的旋转位置编码（RoPE）。此外，模型采用了混合注意力模式，将全局注意力和滑动窗口注意力按1:5的比例交替排列，结合了全局上下文和局部效率的优势。短1D卷积（SConv）的引入进一步增强了局部表示能力，使注意力模块能够专注于全局关系。

对于多模态输入，Inkling使用简洁的层次化MLP补丁器处理图像，通过逐步合并像素生成每个补丁的嵌入。音频处理则采用离散化梅尔频谱图，将100毫秒的音频块转换为梅尔刻度并分类到精确的梅尔频段中。这些多模态塔设计简单，无需独立的编码器，与许多采用分离编码器的模型形成对比。

在推理支持方面，Inkling在Hugging Face上以BF16和NVFP4两种精度发布。BF16检查点需要2TB显存，而NVFP4版本仅需600GB，后者在Blackwell GPU上运行。用户可以通过transformers的any-to-any pipeline、SGLang和vLLM等工具进行推理。transformers 5.14.0版本提供了即日支持，并支持多种推理努力级别（从“none”到“max”）。对于本地部署，llama.cpp和Unsloth提供了量化版本，其中Unsloth将模型量化至1位精度，相比原始模型减少了95%的显存消耗。此外，通过Hugging Face的推理提供商，用户可以使用OpenAI兼容的API远程访问模型，但音频支持仍在开发中。

Inkling的发布标志着开放多模态模型领域的一个重要进展。其庞大的参数规模和创新的架构设计，为开发新一代多模态推理应用提供了强大的基础。无论是研究人员还是开发者，都可以通过微调该模型来适应特定领域任务。Thinking Machines团队已利用该模型构建了多个演示，对其潜力充满信心。