Together AI 在首日即引入 Thinking Machines Lab 的新模型 Inkling

Thinking Machines Lab 今日釋出了 Inkling，這是一個新型多模態混合專家（MoE）模型，專為 token 高效推理、原生多模態理解和廣泛任務適應性而設計。Together AI 很榮幸與 Thinking Machines Lab 團隊合作，在其推理平臺上向開發者提供 Inkling。

Inkling 接受文本、影像和音訊輸入，透過統一的解碼器架構生成文本輸出。它支援可控推理努力，允許開發者根據每個任務的需求調整模型應用的推理深度。其後訓練涵蓋了廣泛的能力，包括科學推理、編碼、智慧代理工作流、預測和校準預測。

在架構方面，Inkling 引入了幾項超越傳統僅解碼器 Transformer 的創新，包括查詢條件相對注意力、貫穿模型的短因果卷積，以及帶有共享專家匯合的混合專家架構。這些元件旨在支援強大的推理和多模態能力，同時保持高效的模型執行。在 Together AI 上，Inkling 執行著最佳化的 FlashAttention-4 注意力核心，以高效支援其生產中的查詢條件相對注意力機制。

Inkling 概覽：

• token 高效、可控推理：開發者可以調整推理努力以平衡推理深度、token 使用和延遲。
• 原生多模態輸入：Inkling 接受音訊、影像和文本輸入，透過單一模型生成文本輸出。
• 廣泛任務適用性：模型後訓練涵蓋推理、編碼、智慧代理、預測和校準預測任務。
• 差異化架構：結合分組查詢注意力、學習相對位置偏差、短因果卷積和共享匯合 MoE 路由。
• 初步評估強勁：在最高努力設定下，Inkling 在科學推理、數學、編碼、智慧代理、視覺和音訊基準測試中表現強勁。
• 在 Together AI 上可用：開發者可以透過無伺服器訪問，支援 1M 上下文視窗和與 OpenAI 相容的 API。

初步評估顯示，Inkling 在研究生級別的科學推理和競賽數學方面表現強勁，展示了其多功能性：同一模型在知識密集型推理、數學問題解決、軟體工程、基於瀏覽器的任務、視覺文件理解和音訊理解方面均表現出色。此外，Inkling 還經過預測和校準預測任務的後訓練，擴充套件了其應用範圍。

選擇 Together AI 執行 Inkling 的理由：

• 首日訪問，零設定：Inkling 已在 Together AI 無伺服器上上線，無需等待容量或管理基礎設施。
• 多模態輸入，單一端點：支援文本、影像和音訊，透過單一 API 呼叫處理所有輸入型別。
• 可控推理努力，無需管理基礎設施：透過 API 直接控制推理努力，實現成本和速度的調整。

Inkling 採用僅解碼器 MoE 架構，總引數量 975B，每個 token 啟用 40B 引數，上下文視窗 1M token。它沒有使用 RoPE 或絕對位置嵌入，而是透過學習的查詢條件相對偏差將 token 位置融入注意力機制。每個注意力層結合傳統的查詢-鍵相似度分數和基於 token 相對距離的額外分數。Inkling 混合了滑動視窗和全因果注意力，標準架構使用五個區域性注意力層後跟一個全注意力層。模型還引入了 sconv，一種輕量級的通道因果卷積，具有四個 token 的感受野，應用在注意力前後以及前饋子層的輸出中。Inkling 的前饋層使用帶有共享專家匯合的 MoE 架構，允許共享路徑動態競爭每個 token 的混合權重。

對於影像和音訊輸入，輕量級嵌入塔將影像塊和量化音訊特徵轉換為與文本 token 相同寬度的嵌入，直接插入模型的輸入序列，由同一解碼器堆疊處理。這種統一設計使得模型能夠共同推理文本、視覺和音訊資訊。

現在即可透過 Together AI 無伺服器開始使用 Inkling。開發者可以構建統一使用文本、影像和音訊的應用，並從小規模實驗擴充套件到專用生產容量。