Together AI 在首日即引入 Thinking Machines Lab 的新模型 Inkling

Thinking Machines Lab 今日發佈了 Inkling，這是一個新型多模態混合專家（MoE）模型，專為 token 高效推理、原生多模態理解和廣泛任務適應性而設計。Together AI 很榮幸與 Thinking Machines Lab 團隊合作，在其推理平台上向開發者提供 Inkling。

Inkling 接受文本、圖像和音頻輸入，通過統一的解碼器架構生成文本輸出。它支持可控推理努力，允許開發者根據每個任務的需求調整模型應用的推理深度。其後訓練涵蓋了廣泛的能力，包括科學推理、編碼、智能代理工作流、預測和校準預測。

在架構方面，Inkling 引入了幾項超越傳統僅解碼器 Transformer 的創新，包括查詢條件相對注意力、貫穿模型的短因果卷積，以及帶有共享專家匯合的混合專家架構。這些組件旨在支持強大的推理和多模態能力，同時保持高效的模型執行。在 Together AI 上，Inkling 運行着優化的 FlashAttention-4 注意力內核，以高效支持其生產中的查詢條件相對注意力機制。

Inkling 概覽：

• token 高效、可控推理：開發者可以調整推理努力以平衡推理深度、token 使用和延遲。
• 原生多模態輸入：Inkling 接受音頻、圖像和文本輸入，通過單一模型生成文本輸出。
• 廣泛任務適用性：模型後訓練涵蓋推理、編碼、智能代理、預測和校準預測任務。
• 差異化架構：結合分組查詢注意力、學習相對位置偏差、短因果卷積和共享匯合 MoE 路由。
• 初步評估強勁：在最高努力設置下，Inkling 在科學推理、數學、編碼、智能代理、視覺和音頻基準測試中表現強勁。
• 在 Together AI 上可用：開發者可以通過無服務器訪問，支持 1M 上下文窗口和與 OpenAI 兼容的 API。

初步評估顯示，Inkling 在研究生級別的科學推理和競賽數學方面表現強勁，展示了其多功能性：同一模型在知識密集型推理、數學問題解決、軟件工程、基於瀏覽器的任務、視覺文檔理解和音頻理解方面均表現出色。此外，Inkling 還經過預測和校準預測任務的後訓練，擴展了其應用範圍。

選擇 Together AI 運行 Inkling 的理由：

• 首日訪問，零設置：Inkling 已在 Together AI 無服務器上上線，無需等待容量或管理基礎設施。
• 多模態輸入，單一端點：支持文本、圖像和音頻，通過單一 API 調用處理所有輸入類型。
• 可控推理努力，無需管理基礎設施：通過 API 直接控制推理努力，實現成本和速度的調整。

Inkling 採用僅解碼器 MoE 架構，總參數量 975B，每個 token 激活 40B 參數，上下文窗口 1M token。它沒有使用 RoPE 或絕對位置嵌入，而是通過學習的查詢條件相對偏差將 token 位置融入注意力機制。每個注意力層結合傳統的查詢-鍵相似度分數和基於 token 相對距離的額外分數。Inkling 混合了滑動窗口和全因果注意力，標準架構使用五個局部注意力層後跟一個全注意力層。模型還引入了 sconv，一種輕量級的通道因果卷積，具有四個 token 的感受野，應用在注意力前後以及前饋子層的輸出中。Inkling 的前饋層使用帶有共享專家匯合的 MoE 架構，允許共享路徑動態競爭每個 token 的混合權重。

對於圖像和音頻輸入，輕量級嵌入塔將圖像塊和量化音頻特徵轉換為與文本 token 相同寬度的嵌入，直接插入模型的輸入序列，由同一解碼器堆棧處理。這種統一設計使得模型能夠共同推理文本、視覺和音頻信息。

現在即可通過 Together AI 無服務器開始使用 Inkling。開發者可以構建統一使用文本、圖像和音頻的應用，並從小規模實驗擴展到專用生產容量。