Cohere 的 North Mini Code 解碼大核心服務引擎

Cohere 釋出了圍繞解碼大核心（decode megakernel）構建的 North Mini Code 服務引擎。在單張 H100 上使用 BF16，端到端吞吐比 vLLM 快 1.25–1.41 倍；批大小為 1 時達到 62% 的記憶體頻寬理論峰值，且支援生產級特性與工具呼叫，程式碼已開源。