何凱明の初の言語モデル：105Mパラメータ、GPTの自己回帰の道を歩まず

何凱明チームが連続拡散言語モデルELFを発表。105Mパラメータ、45Bトークンの学習、32ステップのサンプリングで、OpenWebTextにおける生成パープレキシティが24に達し、主流の拡散言語モデルを凌駕。ELFは連続埋め込み空間でノイズ除去を行い、最終ステップでのみ離散化し、追加のデコーダーを不要とする。