Thinking Machines 的 Inkling 现已在 Modal 上可用

2026年7月15日，Thinking Machines 正式发布了其通用多模态模型 Inkling。该模型接受文本、图像和音频输入，并生成文本输出，总参数量达 9750 亿，其中活跃参数为 410 亿。Inkling 采用了混合专家（Mixture-of-Experts）架构和 100 万个令牌的上下文窗口，从设计之初就注重广度而非深度，使其成为进一步微调的优秀基座模型。

Inkling 的独特之处在于其局部注意力布局。在每六个注意力层中，有五层使用滑动窗口注意力，仅关注最近的令牌，而一层使用全局注意力关注整个序列。这种设计将计算资源集中在最近的令牌上，显著提升了效率。Modal 在第一天就提供了对 Inkling 的托管端点支持，并集成了针对该模型定制的 DFlash 推测器。在 8 块 B200 GPU 上运行代理工作负载时，每个用户每秒可生成 250 个令牌，每 GPU 吞吐量达到 250 万令牌/分钟，交互速度比模型内置的推测路径快 67%。

DFlash 是由 Z Lab 开发的推测解码技术，其核心是块扩散起草器（block diffusion drafter），能够在一次并行前向传递中生成整个令牌块，条件依赖于目标模型的特征。相比之下，大多数开源模型使用的多令牌预测（MTP）头一次只能起草一个令牌，随着步骤增加性能会触及瓶颈。Modal 团队进一步优化了 DFlash：所有起草器层均使用滑动窗口注意力，无需全局注意力，因为起草过程主要依赖最近令牌；同时将层从非因果改为因果，以便在推理时利用高度优化的注意力内核（如 trtllm）。

Modal 认为，块扩散起草是一种面向未来的推测架构，其成本随块大小增长保持平稳，且架构能够像目标模型一样快速削减计算开销。Inkling 现已通过 Modal Auto Endpoints 以兼容 OpenAI 的共享端点形式提供，采用基于令牌的定价。用户可以立即尝试，并提供反馈。