今天我們自豪地宣佈，Baseten 平臺從第一天起就支援 Thinking Machines Lab 的最新開源權重模型 Inkling。
Inkling 是一個通用、多模態的自迴歸 Transformer 模型，能夠處理文本、影像和音訊輸入，並生成文本輸出。它預訓練於 45 萬億 token 的文本、影像、音訊和影片資料。Inkling 採用混合專家（MoE）架構，總引數 9750 億，活躍引數 410 億，上下文視窗高達 100 萬 token。
Thinking Machines Lab 選擇“Inkling”這個名字，寓意一個最初的想法，有潛力成長為更偉大的事物。Inkling 構建為一個極其博學、通用的基礎模型，可透過微調進行擴充套件。它專為開發 AI 應用程式的開發者設計，包括代理和工具使用系統、編碼助手、聊天機器人和檢索增強生成系統。
在技術架構上，Inkling 是一個 66 層的稀疏 MoE Transformer，總引數 9750 億，活躍引數 410 億。每個 token 透過 256 個專家中的 6 個以及 2 個共享專家進行路由，從而在不啟用全部引數的情況下利用廣泛的能力。評估顯示，它在推理、編碼、視覺、音訊和安全性方面表現出色。
開源權重為使用者提供了更多的定製和部署控制權，但也帶來了巨大的基礎設施需求：BF16 檢查點至少需要 2 TB 的 GPU 總記憶體，而 NVFP4 檢查點則需要至少 600 GB。將 9750 億引數的模型投入生產並非易事。
Baseten 負責部署 Inkling 所需的基礎設施，包括自動擴充套件、權重分發和跨雲容量管理。Baseten 推理堆疊提供自動擴充套件器，可根據需求變化新增或刪除模型副本；Baseten 分發網路將模型權重靠近可用計算資源，並在多個副本同時啟動時協調下載，實現 2-3 倍的冷啟動加速。多雲容量管理將來自 20 多個雲的 GPU 整合到一個全球池中，確保即使某個雲容量不足，工作負載也能在其他雲中執行。
您今天即可透過 Baseten Model APIs 和 Dedicated Inference 開始使用 Inkling。我們期待看到您用它構建的精彩應用。