何愷明首個語言模型：105M引數，不走GPT自迴歸老路

何愷明團隊提出連續擴散語言模型ELF，僅105M引數、45B訓練token、32步取樣，在OpenWebText上生成困惑度達到24，超越主流擴散語言模型。ELF在連續embedding空間完成去噪，最後一步離散化，無需額外解碼器。