Kog Laneformer 2B：Kog推理引擎背后的延迟优先模型

Kog发布了Laneformer 2B，一个23亿参数的指令微调编码模型，专为高速单请求推理从头设计。通过将模型架构与推理引擎协同设计，Kog引入了延迟张量并行（DTP）和车道结构Transformer以隐藏通信开销。该模型在编码基准上取得竞争性结果（HumanEval+ 45.1%，MBPP+ 51.6%），现已在Hugging Face上开源。