歡迎Inkling：Thinking Machines的多模態大模型

Thinking Machines於2026年7月15日正式釋出了Inkling，這是一個具有里程碑意義的開源多模態大模型。Inkling擁有約1萬億引數，是首批能夠原生處理影像、文本和音訊輸入的大型開放模型之一，其上下文視窗高達100萬token，能夠處理極長序列。該模型在包含文本、影像、音訊和影片在內的45萬億token資料上進行了訓練，專注於跨模態推理，並旨在透過微調實現領域適應。

Inkling的架構基於解碼器-only的混合專家（MoE）模型，總引數為9750億，但每次推理僅啟用410億引數。這種稀疏門控機制包含256個專家，每次選擇6個路由專家加上2個共享專家，從而實現高效的推理。在注意力機制方面，Inkling採用了相對注意力，直接學習位置資訊，而非使用傳統的旋轉位置編碼（RoPE）。此外，模型採用了混合注意力模式，將全域性注意力和滑動視窗注意力按1:5的比例交替排列，結合了全域性上下文和區域性效率的優勢。短1D卷積（SConv）的引入進一步增強了區域性表示能力，使注意力模組能夠專注於全域性關係。

對於多模態輸入，Inkling使用簡潔的層次化MLP補丁器處理影像，透過逐步合併畫素生成每個補丁的嵌入。音訊處理則採用離散化梅爾頻譜圖，將100毫秒的音訊塊轉換為梅爾刻度並分類到精確的梅爾頻段中。這些多模態塔設計簡單，無需獨立的編碼器，與許多采用分離編碼器的模型形成對比。

在推理支援方面，Inkling在Hugging Face上以BF16和NVFP4兩種精度釋出。BF16檢查點需要2TB視訊記憶體，而NVFP4版本僅需600GB，後者在Blackwell GPU上執行。使用者可以透過transformers的any-to-any pipeline、SGLang和vLLM等工具進行推理。transformers 5.14.0版本提供了即日支援，並支援多種推理努力級別（從“none”到“max”）。對於本地部署，llama.cpp和Unsloth提供了量化版本，其中Unsloth將模型量化至1位精度，相比原始模型減少了95%的視訊記憶體消耗。此外，透過Hugging Face的推理提供商，使用者可以使用OpenAI相容的API遠端訪問模型，但音訊支援仍在開發中。

Inkling的釋出標誌著開放多模態模型領域的一個重要進展。其龐大的引數規模和創新的架構設計，為開發新一代多模態推理應用提供了強大的基礎。無論是研究人員還是開發者，都可以透過微調該模型來適應特定領域任務。Thinking Machines團隊已利用該模型構建了多個演示，對其潛力充滿信心。