月之暗面发布 Kimi K3：2.8万亿参数开源MoE模型，搭载Kimi Delta Attention和百万上下文

月之暗面（Moonshot AI）于2026年7月16日正式发布了其最新模型Kimi K3。该模型拥有2.8万亿参数，采用稀疏专家混合（MoE）架构，并原生支持视觉处理和100万token的上下文窗口。月之暗面称其为“世界上首个开源的3T级模型”。

Kimi K3的核心架构创新包括Kimi Delta Attention（KDA）和Attention Residuals（AttnRes）。KDA是一种混合线性注意力机制，据称能在百万token上下文中实现高达6.3倍的解码加速。AttnRes则沿模型深度选择性检索表示，而非均匀累积，在不到2%的额外成本下提升了约25%的训练效率。

模型的稀疏性通过Stable LatentMoE实现，有效激活896个专家中的16个。为了解决路由和优化挑战，月之暗面引入了分位数平衡（Quantile Balancing）技术，直接从路由器得分分位数推导专家分配，消除了启发式更新和敏感的超参数。此外，每头Muon（Per-Head Muon）优化器独立优化注意力头，而Sigmoid Tanh Unit（SiTU）和门控MLA（Gated MLA）分别改进了激活控制和注意力选择性。

在训练和数据方面，这些结构性变化带来了约2.5倍于Kimi K2的整体扩展效率。K3从监督微调（SFT）阶段就开始进行量化感知训练，使用MXFP4权重和MXFP8激活，以确保广泛的硬件兼容性。月之暗面建议使用64个或更多加速器的超级节点配置，并已向vLLM贡献了KDA的实现以解决前缀缓存问题。

在性能方面，K3在多项基准测试中展现了强劲实力。在所有测试中，K3均使用最大推理努力（reasoning_effort=max）。结果显示，K3在Program Bench、SWE Marathon、BrowseComp、Automation Bench和OmniDocBench上领先，但在FrontierSWE和HLE-Full上落后于Claude Fable 5，在DeepSWE上落后于GPT 5.6 Sol。需要注意的是，Fable 5的测试结果包含“回退”（fallback）机制，即当Fable 5因使用策略拒绝请求时，会路由到Opus 4.8。此外，BrowseComp测试中使用了300K token的上下文压缩，若无此压缩，K3得分为90.4。

K3的应用场景包括仓库级工程（长时间会话，最少人工监督）、视觉循环（代码与实时截图迭代）、研究重现（如I–Love–Q关系，涉及20+篇论文和3000+行Python代码）、深度研究报告（如42年ASIC研究，涉及2800+次抓取和11000+页面）以及文档解析（OmniDocBench得分91.1）。

K3现已通过Kimi.com、Kimi Work、Kimi Code和API提供访问。API兼容OpenAI SDK，使用月之暗面的基础URL。定价为统一费率，不按上下文长度分层：缓存命中输入每百万token 0.30美元，缓存未命中输入3.00美元，输出15.00美元。月之暗面报告在编码工作负载中缓存命中率超过90%。

Kimi K3的发布标志着开源模型在规模上达到了新的高度，尽管在绝对性能上仍与顶尖专有模型存在差距，但其创新架构和开放策略为AI社区提供了强大的研究与应用基础。