CohereのNorth Mini Code向けメガカーネル・サービスエンジン
Cohereは、North Mini Codeのデコード処理全体を単一のメガカーネルとして実行するサービスエンジンを発表した。BF16・H100環境でvLLMより1.25〜1.41倍高速で、バッチサイズ1ではメモリ帯域の理論限界の62%に到達。精度低下なし。コードはGitHubで公開。
ソースCohere Blog
CohereのNorth Mini Code向けメガカーネル・サービスエンジン
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。