Thinking Machines Inkling 完全指南

Thinking Machines Lab 於 2026 年 7 月 15 日發佈了其首個通用開放權重基礎模型 Inkling。作為一個多模態模型，Inkling 能夠處理文本、圖像和音頻，並生成文本輸出。模型採用稀疏 Mixture-of-Experts（MoE）架構，總參數量 9750 億，但每次推理僅激活約 410 億參數，顯著降低了計算成本。其上下文窗口高達 100 萬 token，可選 6.4 萬或 25.6 萬 token 的上下文配置。Inkling 以 Apache 2.0 許可發佈，允許商業使用、修改和再分發，旨在成為可定製、可微調的基礎模型，適用於多模態推理、智能體 AI、編程、工具使用、視覺和音頻任務以及特定領域微調。

架構細節 Inkling 是一個 66 層、僅解碼器的多模態 MoE Transformer。每個 MoE 層包含 256 個路由專家和 2 個共享專家，每個 token 激活 6 個路由專家和 2 個共享專家。路由基於 sigmoid 分數，採用無輔助損失的負載均衡。模型還整合了混合注意力機制：每 5 個滑動窗口注意力層後接一個全局注意力層，以高效處理長序列。相對位置嵌入替換了常見的 RoPE，以改善長上下文外推。短卷積應用於鍵/值投影后及注意力/MLP 輸出加入殘差流前，以捕獲局部模式。此外，多 token 預測層通過投機解碼加速推理。

多模態處理 對於文本，Inkling 採用標準的自迴歸 token 化；圖像被分割為 40×40 像素的塊，通過四層分層 MLP 編碼；音頻轉換為離散化梅爾頻譜圖（dMel）嵌入。推薦圖像尺寸 40-4096 像素，音頻則建議使用 16 kHz WAV 格式、時長不超過 20 分鐘。視頻雖在預訓練中涉及，但官方未針對直接使用做正式評估，推薦微調後再投入生產。

訓練與後訓練 Inkling 在 45 萬億 token 上完成預訓練，數據涵蓋文本、圖像、音頻和視頻，並經過嚴格清洗、去重和質量過濾。優化器方面，大矩陣權重使用 Muon，其他參數使用 Adam，並採用與學習率平方相關的權重衰減調度。後訓練包括監督微調和強化學習。監督微調階段利用多個開源模型（如 Kimi K2.5）生成合成數據；大部分後訓練算力投入於大規模強化學習，覆蓋數學、推理、智能體編程、工具使用、視覺、音頻、對話、指令遵循等方面。強化學習 rollout 超過 3000 萬次，聚合推理獎勵從 SFT 初始化後的 0.264 提升至發佈檢查點的 0.356。訓練基於 NVIDIA GB300 NVL72 系統。

自我微調能力 Inkling 的另一亮點是其自我微調能力。通過 Tinker 平台與編碼助手，模型能夠幫助用户定義目標行為、生成合成訓練樣本、編寫評估邏輯、啓動微調任務並評估結果。這並非模型自主修改權重，而是利用工具鏈自動化微調流程，降低人工工程投入。

基準測試表現 Inkling 在數學推理（AIME 2026）、科學推理（GPQA Diamond）、指令遵循（IFBench）、語音理解（VoiceBench）和視覺推理方面表現強勁。它擅長結合工具使用、檢索和外部計算來解決複雜問題。在編程方面，Inkling 處理倉庫級任務、工具調用和終端交互的能力在開放權重模型中處於前列，但頂尖閉源模型在 SWE-bench Pro 和 Terminal Bench 上仍領先。事實性知識方面是弱點，因此在醫療、法律、金融等高風險場景需搭配檢索系統、來源引用和人工審核。視覺和音頻支持是其優勢，無需額外模型即可理解圖表、文檔和語音指令。

訪問與部署 用户可通過多種方式使用 Inkling：Tinker Playground（支持 100 萬 token 上下文）、Hugging Face（權重下載）、Together AI 等託管推理提供商，以及自託管（支持 Transformers、vLLM、llama.cpp 等）。本地推理推薦使用 NVFP4 量化格式以降低顯存需求。此外，Thinking Machines 還提供了更小版本的 Inkling-Small 供開發者嘗試。

結論 Inkling 並非追求單一基準的冠軍模型，而是強調平衡、可定製和開源。它適合需要靈活控制、多模態能力和微調功能的研究團隊和企業。其開放權重許可和廣泛的部署選項有望推動 AI 民主化，但事實性短板仍需通過增強的檢索和驗證機制來彌補。