Cohere 的 North Mini Code 解码大内核服务引擎

Cohere 发布了围绕解码大内核（decode megakernel）构建的 North Mini Code 服务引擎。在单张 H100 上使用 BF16，端到端吞吐比 vLLM 快 1.25–1.41 倍；批大小为 1 时达到 62% 的内存带宽理论峰值，且支持生产级特性与工具调用，代码已开源。