何恺明首个语言模型：105M参数，不走GPT自回归老路

何恺明团队提出连续扩散语言模型ELF，仅105M参数、45B训练token、32步采样，在OpenWebText上生成困惑度达到24，超越主流扩散语言模型。ELF在连续embedding空间完成去噪，最后一步离散化，无需额外解码器。