Cohere 的 North Mini Code 解碼大內核服務引擎

Cohere 發佈了圍繞解碼大內核（decode megakernel）構建的 North Mini Code 服務引擎。在單張 H100 上使用 BF16，端到端吞吐比 vLLM 快 1.25–1.41 倍；批大小為 1 時達到 62% 的內存帶寬理論峯值，且支持生產級特性與工具調用，代碼已開源。