序列知識第862期：瞭解文本擴散模型

在當代AI架構中，模態之間存在明顯的分化。視覺領域完全由擴散模型主導——從Midjourney到Stable Diffusion，再到OpenAI的Sora，從純噪聲開始逐步去噪生成高保真影像或影片的正規化已被證明極其有效。然而，在文本領域，擴散模型長期以來只是事後思考。GPT-4、Claude、LLaMA等大型語言模型堅定地採用自迴歸（AR）架構：它們是序列預測器，透過檢視上下文、預測下一個token、將其附加到上下文並重復，嚴格從左到右進行因果生成。

多年來，共識很簡單：自迴歸就是語言的天然物理特性。但這種順序正規化存在明顯的缺陷。由於AR模型從左到右盲目生成，它們難以進行全域性規劃。如果早期在序列中出現輕微邏輯錯誤，該錯誤會永久嵌入上下文視窗，導致級聯失敗——這一現象常被批評為“生成漂移”。此外，AR模型還遭受“反轉詛咒”：它們可以輕鬆地正向背誦一首詩，但如果要求反向背誦，其因果注意力機制就會完全失效。

文本擴散模型的出現提供了一種替代方案。與自迴歸不同，它們從隨機噪聲開始，透過迭代去噪逐步構建文本，類似於視覺擴散的過程。這種方法有望實現全域性規劃，減少早期錯誤的影響，並規避反轉詛咒。儘管目前文本擴散模型仍在發展中，但它們代表了AI生成領域一個值得關注的方向。