本文にスキップ
AI News HubLIVE
その他
要約のみ

Google AI、Gemma 4向けマルチトークン予測ドラフターを公開:品質を損なわずに最大3倍の推論高速化

GoogleはGemma 4ファミリー向けにMTPドラフターを導入。投機的デコーディングにより品質を維持しながら最大3倍の推論速度を実現。ドラフターはターゲットモデルのKVキャッシュとアクティベーションを共有し、エッジモデル向けに最適化されている。

ソースMarkTechPost著者: Asif Razzaq
Google AI、Gemma 4向けマルチトークン予測ドラフターを公開:品質を損なわずに最大3倍の推論高速化
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内

要約のみ

配信元のコンテンツ権限に基づき、編集要約、要点、原文へのリンクのみを提供します。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • GoogleがGemma 4向けMTPドラフターを公開、品質劣化なしで最大3倍の推論高速化。
  • 投機的デコーディング:軽量ドラフターが複数トークンを提案し、ターゲットモデルが一括検証。
  • ドラフターはKVキャッシュとアクティベーションを共有。エッジモデルではクラスタリング技術でlogit計算を高速化。
  • Apache 2.0ライセンスで提供、Hugging FaceとKaggleでモデル重みを公開。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。