Kog Laneformer 2B：Kog 推論エンジンの背後にあるレイテンシ最優先モデル

Kog は、高速シングルリクエスト推論のために一から設計された23億パラメータの命令チューニング済みコーディングモデル「Laneformer 2B」をリリースしました。モデルアーキテクチャと推論エンジンを共同設計することで、Kog は Delayed Tensor Parallelism とレーン構造の Transformer を導入し、通信オーバーヘッドを隠蔽します。このモデルは競争力のあるコーディングベンチマーク（HumanEval+ 45.1%、MBPP+ 51.6%）を達成し、Hugging Face でオープンソース化されています。