Kimi K3 技術博客：開放前沿智能
Kimi 推出其最強模型 K3，擁有 2.8 萬億參數，採用 Kimi Delta Attention 和 Attention Residuals 架構，支持原生視覺和百萬 token 上下文。這是全球首個開放的 3T 級模型，在長時間編碼、知識工作和推理方面表現出色。儘管整體性能仍落後於最強大的專有模型，但在多項評估中超越其他測試模型。
Kimi 今天正式發佈其最強模型 Kimi K3，這是一款擁有 2.8 萬億參數的前沿人工智能模型。Kimi K3 基於 Kimi Delta Attention（KDA）和 Attention Residuals（AttnRes）架構構建，具備原生視覺能力和百萬 token 的上下文窗口。作為全球首個開放的 3T 級模型，K3 專為長時間編碼、知識工作和推理等前沿智能任務設計。
儘管整體性能仍略遜於最強大的專有模型（如 Claude Fable 5 和 GPT 5.6 Sol），Kimi K3 在內部評估套件中展現了前沿級別的性能，持續優於其他測試模型。目前，Kimi K3 已在 Kimi.com、Kimi Work、Kimi Code 和 Kimi API 上線，默認使用最大思考努力模式，後續將引入低和高努力模式。模型權重將於 2026 年 7 月 27 日全面開源，技術報告屆時也將發佈。
在架構創新方面，Kimi K3 通過 KDA 和 AttnRes 改善了信息在序列長度和模型深度上的流動。同時，採用混合專家（MoE）模型，激活 896 個專家中的 16 個，結合 Stable LatentMoE 框架，整體擴展效率相比 Kimi K2 提升約 2.5 倍。
Kimi K3 在編碼方面表現突出，能進行長時間工程會話，導航大型代碼庫，並編排終端工具。其視覺與代碼結合的能力在遊戲開發、前端設計和 CAD 等領域表現出色。案例包括：GPU 內核優化中與 Fable 5 競爭；自主開發 MiniTriton 編譯器，性能媲美 Triton；構建 3D 開放世界遊戲；在 48 小時內自主設計芯片，支持其自身架構的 nano 模型；以及從文獻到代碼的科研工作流，如重現天體物理中的 I-Love-Q 關係。
在知識工作方面，Kimi K3 可生成交互式研究報告，如對 42 年 ASIC 行業的研究，涉及大量數據檢索和可視化。Kimi Work 還引入了 Widgets 和 Dashboard 功能，使交互更加可視化且持久。在視頻編輯方面，K3 能創建 3Blue1Brown 風格的動畫，並編輯自己的預告片。
技術上，Kimi K3 採用量化感知訓練，支持 MXFP4 權重和 MXFP8 激活。訓練採用完全平衡的專家並行方法，推薦在 64 個以上加速器的超節點配置下部署。針對 KDA 的預填充緩存問題，Kimi 已向 vLLM 社區貢獻了實現方案。
Kimi K3 現已通過多種渠道可用：iOS、Android 和鴻蒙系統的 Kimi 應用；Windows 和 Apple Silicon Mac 的 Kimi Work 桌面應用；終端中的 Kimi Code；以及 Kimi API 平台，定價為緩存命中輸入每百萬 token 0.30 美元，緩存未命中輸入每百萬 token 3.00 美元，輸出每百萬 token 15.00 美元。企業版提供數據隱私和成員管理功能。