Together AI 在首日即引入 Thinking Machines Lab 的新模型 Inkling

Thinking Machines Lab 今日发布了 Inkling，这是一个新型多模态混合专家（MoE）模型，专为 token 高效推理、原生多模态理解和广泛任务适应性而设计。Together AI 很荣幸与 Thinking Machines Lab 团队合作，在其推理平台上向开发者提供 Inkling。

Inkling 接受文本、图像和音频输入，通过统一的解码器架构生成文本输出。它支持可控推理努力，允许开发者根据每个任务的需求调整模型应用的推理深度。其后训练涵盖了广泛的能力，包括科学推理、编码、智能代理工作流、预测和校准预测。

在架构方面，Inkling 引入了几项超越传统仅解码器 Transformer 的创新，包括查询条件相对注意力、贯穿模型的短因果卷积，以及带有共享专家汇合的混合专家架构。这些组件旨在支持强大的推理和多模态能力，同时保持高效的模型执行。在 Together AI 上，Inkling 运行着优化的 FlashAttention-4 注意力内核，以高效支持其生产中的查询条件相对注意力机制。

Inkling 概览：

• token 高效、可控推理：开发者可以调整推理努力以平衡推理深度、token 使用和延迟。
• 原生多模态输入：Inkling 接受音频、图像和文本输入，通过单一模型生成文本输出。
• 广泛任务适用性：模型后训练涵盖推理、编码、智能代理、预测和校准预测任务。
• 差异化架构：结合分组查询注意力、学习相对位置偏差、短因果卷积和共享汇合 MoE 路由。
• 初步评估强劲：在最高努力设置下，Inkling 在科学推理、数学、编码、智能代理、视觉和音频基准测试中表现强劲。
• 在 Together AI 上可用：开发者可以通过无服务器访问，支持 1M 上下文窗口和与 OpenAI 兼容的 API。

初步评估显示，Inkling 在研究生级别的科学推理和竞赛数学方面表现强劲，展示了其多功能性：同一模型在知识密集型推理、数学问题解决、软件工程、基于浏览器的任务、视觉文档理解和音频理解方面均表现出色。此外，Inkling 还经过预测和校准预测任务的后训练，扩展了其应用范围。

选择 Together AI 运行 Inkling 的理由：

• 首日访问，零设置：Inkling 已在 Together AI 无服务器上上线，无需等待容量或管理基础设施。
• 多模态输入，单一端点：支持文本、图像和音频，通过单一 API 调用处理所有输入类型。
• 可控推理努力，无需管理基础设施：通过 API 直接控制推理努力，实现成本和速度的调整。

Inkling 采用仅解码器 MoE 架构，总参数量 975B，每个 token 激活 40B 参数，上下文窗口 1M token。它没有使用 RoPE 或绝对位置嵌入，而是通过学习的查询条件相对偏差将 token 位置融入注意力机制。每个注意力层结合传统的查询-键相似度分数和基于 token 相对距离的额外分数。Inkling 混合了滑动窗口和全因果注意力，标准架构使用五个局部注意力层后跟一个全注意力层。模型还引入了 sconv，一种轻量级的通道因果卷积，具有四个 token 的感受野，应用在注意力前后以及前馈子层的输出中。Inkling 的前馈层使用带有共享专家汇合的 MoE 架构，允许共享路径动态竞争每个 token 的混合权重。

对于图像和音频输入，轻量级嵌入塔将图像块和量化音频特征转换为与文本 token 相同宽度的嵌入，直接插入模型的输入序列，由同一解码器堆栈处理。这种统一设计使得模型能够共同推理文本、视觉和音频信息。

现在即可通过 Together AI 无服务器开始使用 Inkling。开发者可以构建统一使用文本、图像和音频的应用，并从小规模实验扩展到专用生产容量。