月之暗面發佈 Kimi K3：2.8萬億參數開源MoE模型，搭載Kimi Delta Attention和百萬上下文

月之暗面（Moonshot AI）於2026年7月16日正式發佈了其最新模型Kimi K3。該模型擁有2.8萬億參數，採用稀疏專家混合（MoE）架構，並原生支持視覺處理和100萬token的上下文窗口。月之暗面稱其為“世界上首個開源的3T級模型”。

Kimi K3的核心架構創新包括Kimi Delta Attention（KDA）和Attention Residuals（AttnRes）。KDA是一種混合線性注意力機制，據稱能在百萬token上下文中實現高達6.3倍的解碼加速。AttnRes則沿模型深度選擇性檢索表示，而非均勻累積，在不到2%的額外成本下提升了約25%的訓練效率。

模型的稀疏性通過Stable LatentMoE實現，有效激活896個專家中的16個。為了解決路由和優化挑戰，月之暗面引入了分位數平衡（Quantile Balancing）技術，直接從路由器得分分位數推導專家分配，消除了啓發式更新和敏感的超參數。此外，每頭Muon（Per-Head Muon）優化器獨立優化注意力頭，而Sigmoid Tanh Unit（SiTU）和門控MLA（Gated MLA）分別改進了激活控制和注意力選擇性。

在訓練和數據方面，這些結構性變化帶來了約2.5倍於Kimi K2的整體擴展效率。K3從監督微調（SFT）階段就開始進行量化感知訓練，使用MXFP4權重和MXFP8激活，以確保廣泛的硬件兼容性。月之暗面建議使用64個或更多加速器的超級節點配置，並已向vLLM貢獻了KDA的實現以解決前綴緩存問題。

在性能方面，K3在多項基準測試中展現了強勁實力。在所有測試中，K3均使用最大推理努力（reasoning_effort=max）。結果顯示，K3在Program Bench、SWE Marathon、BrowseComp、Automation Bench和OmniDocBench上領先，但在FrontierSWE和HLE-Full上落後於Claude Fable 5，在DeepSWE上落後於GPT 5.6 Sol。需要注意的是，Fable 5的測試結果包含“回退”（fallback）機制，即當Fable 5因使用策略拒絕請求時，會路由到Opus 4.8。此外，BrowseComp測試中使用了300K token的上下文壓縮，若無此壓縮，K3得分為90.4。

K3的應用場景包括倉庫級工程（長時間會話，最少人工監督）、視覺循環（代碼與實時截圖迭代）、研究重現（如I–Love–Q關係，涉及20+篇論文和3000+行Python代碼）、深度研究報告（如42年ASIC研究，涉及2800+次抓取和11000+頁面）以及文檔解析（OmniDocBench得分91.1）。

K3現已通過Kimi.com、Kimi Work、Kimi Code和API提供訪問。API兼容OpenAI SDK，使用月之暗面的基礎URL。定價為統一費率，不按上下文長度分層：緩存命中輸入每百萬token 0.30美元，緩存未命中輸入3.00美元，輸出15.00美元。月之暗面報告在編碼工作負載中緩存命中率超過90%。

Kimi K3的發佈標誌着開源模型在規模上達到了新的高度，儘管在絕對性能上仍與頂尖專有模型存在差距，但其創新架構和開放策略為AI社區提供了強大的研究與應用基礎。