令牌時間連續擴散：一種新型語言建模方法
本文提出令牌時間連續擴散（TTCD），一種在連續空間中操作的新型擴散語言模型，引入每令牌時間步概念，使不同令牌以不同速率從噪聲轉化為令牌。TTCD透過連續空間建模避免了並行取樣多個令牌的不準確性，在高速加速下顯著優於離散模型。研究者在OpenWebText上訓練了1.6億引數的TTCD模型，並透過自蒸餾在無條件生成中達到可比質量，在條件生成中超越多個同等規模模型，在數獨求解任務中也取得類似改進。
近日，一篇發表在arXiv上的論文提出了一種名為“令牌時間連續擴散”（Token Time Continuous Diffusion, TTCD）的新型語言模型。該模型在連續空間中操作，將高斯噪聲確定性地對映到最終的令牌畫布上，無需進一步取樣，並引入了每個令牌獨立的時間步概念，使某些令牌從噪聲轉化為令牌的速度快於其他令牌。
擴散語言模型近年備受關注，其透過逐步去噪生成資料。然而，傳統離散空間模型在高速加速時需並行取樣多個令牌，這往往導致不準確性。TTCD透過連續空間建模從根本上避免了這一問題，因為連續空間允許模型在確定性的對映過程中同時考慮所有令牌，無需為加速而犧牲精度。此外，每令牌時間步的引入使模型能更好地處理條件生成任務——那些更確定的令牌可以更快地完成去噪，而其他令牌則根據需要調整速度。這種差異化處理還增強了精煉階段令牌間的相互影響，使生成結果更加協調。
實驗結果表明，TTCD在高速加速下顯著優於離散模型。研究團隊在OpenWebText資料集上訓練了一個1.6億引數的TTCD模型，並進行了自蒸餾（一種將教師模型知識遷移到自身的技術）。在高速加速條件下，該模型在無條件生成質量上與現有模型相當，而在條件生成上則超越了多個同等規模、在相同資料上訓練並自蒸餾的現有模型。此外，TTCD在數獨求解任務中也展現出類似的改進，證明了其在不同型別序列生成中的潛力。
該研究由Parikshit Bansal等人完成，論文編號為arXiv:2607.14106，於2026年5月7日提交，涉及計算與語言（cs.CL）和人工智慧（cs.AI）領域。TTCD的提出為高效、高質量的語言生成提供了新的方向，特別是在需要高速推理的場景（如即時對話系統、線上內容生成）中具有潛在應用價值。未來，研究者計劃進一步探索TTCD在大規模模型和更多工上的表現。