本文にスキップ
AI News HubLIVE
その他
要約のみ

CohereのNorth Mini Code向けメガカーネル・サービスエンジン

Cohereは、North Mini Codeのデコード処理全体を単一のメガカーネルとして実行するサービスエンジンを発表した。BF16・H100環境でvLLMより1.25〜1.41倍高速で、バッチサイズ1ではメモリ帯域の理論限界の62%に到達。精度低下なし。コードはGitHubで公開。

ソースCohere Blog
CohereのNorth Mini Code向けメガカーネル・サービスエンジン
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • デコードの全forward passを単一の持続カーネルに統合し、カーネル起動や全グリッド同期のオーバーヘッドを削減
  • バッチサイズ1で292 tok/s(vLLMの1.58倍)、バッチサイズや最大256Kコンテキストを通じて優位性が持続。精度の劣化なし
  • 連続バッチ処理、ページ化アテンション、不均一なシーケンス長、OpenAI互換エンドポイント、ツール呼び出しに対応
  • CUDAファイル1つで実装され、コンパイラや新しい抽象化は不要。GitHubにコードと移植レシピを公開

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。

CohereのNorth Mini Code向けメガカーネル・サービスエンジン | AI News Hub