連續擴散口語語言模型的縮放特性研究
蘋果機器學習研究團隊發表了一篇論文，系統分析了連續擴散（Continuous Diffusion, CD）口語語言模型（SLM）的擴充套件效能。口語語言模型僅處理語音訊號，其效能通常落後於文本模型或文本-語音混合模型。現有的離散自迴歸（AR）方法在將連續語音離散化時存在瓶頸，因此研究者探討了CD SLM是否更具可行性。
為了量化SLM的語言質量，該研究提出了音素Jensen-Shannon散度（pJSD）度量，用於評估生成語音的音素分佈與真實分佈的差異。實驗表明，CD SLM與AR模型類似，其驗證損失和pJSD均遵循縮放定律。然而，與AR不同的是，CD SLM的損失在高計算量下對模型引數和資料規模的選擇變得不敏感，這為快速推理提供了可能。
研究進一步發現，隨著計算量的增加，CD SLM的最優令牌與引數比率逐漸降低，且等FLOPs曲線在其最優點的曲率減小，意味著在較大範圍內選擇引數和資料規模都能獲得接近最優的效能。當模型規模擴充套件到160億引數，並利用數千萬小時的對話資料進行訓練時，CD SLM能夠生成富有情感、韻律、多說話人和多語言的語音。不過，長時連貫性（long-form coherence）仍然是重大挑戰，生成內容在長時間跨度上的一致性有待提升。
該研究為口語語言模型的擴充套件方向提供了新見解，表明連續擴散方法在高效推理和大規模部署方面具有潛力。