今週のAIシーケンス #878: Google DeepMind、次トークン生成における初の本格的な突破口

Transformerアーキテクチャの代替案に関するシリーズを締めくくるにあたり、Google DeepMindがこのカテゴリで最も印象的なモデルの1つをリリースしました。DiffusionGemmaは、従来のTransformerモデルに挑戦するテキスト拡散モデルです。今日は、このモデルの詳細について深く掘り下げます。

ほとんどの言語モデルはタイプライターのように動作します。トークンを左から右へ1つずつ配置し、すでにページに刻まれた文字を再訪することはありません。このアーキテクチャは、GPTスタイルのチャットボット、コーディング支援ツール、推論モデル、エージェントフレームワーク、エンタープライズアシスタントなど、現代のLLM時代全体を支えてきました。モデルは次のトークンを予測し、それを追加し、状態を更新し、繰り返します。

Googleの新しいDiffusionGemmaは、一見単純な問いを投げかけます。テキスト生成がそのように機能する必要はないのでしょうか？

詳しく見ていきましょう。