Gemma 4 の高速化:マルチトークン予測ドラフターによる推論の高速化
Google は Gemma 4 用のマルチトークン予測(MTP)ドラフターを発表。投機的復号により最大 3 倍の高速化を実現し、品質は維持。軽量ドラフターが複数のトークンを予測し、メインモデルが並行検証。エッジからワークステーション、クラウドまで対応。Apache 2.0 ライセンスで公開。
Gemma 4 の高速化:マルチトークン予測ドラフターによる推論の高速化
要約のみ
配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。