音声のみの音声言語モデル（SLM）は、テキストモデルやテキスト音声モデルに比べて性能が遅れており、最近の離散自己回帰（AR）SLMはテキストモデルに追いつくために多大な計算量とデータを必要とすることを示している。連続音声をAR用に離散化するとボトルネックが生じるため、我々は連続拡散（CD）SLMの方がより実現可能かどうかを探求する。SLMの言語品質を定量化するために、音素Jensen-Shannonダイバージェンス（pJSD）指標を導入する。分析により、CD SLMはARの振る舞いを反映し、検証損失とpJSDに対してスケーリング則を示し、最適なトークン対パラメータ比は計算規模の拡大とともに減少することが明らかになった。しかし、後者については、損失がデータとモデルサイズの選択に鈍感になり、高速推論の可能性を示している。CD SLMを160億パラメータに拡大し、数千万時間の会話データで訓練することで、感情的で韻律的、多話者、多言語の音声生成が可能になるが、長文の一貫性を達成することは依然として重要な課題である。
具体的には、我々は検証損失のスケーリング則を実験的にフィッティングし、計算最適構成における等FLOP曲線の曲率が計算量の増加とともに減少することを観察した。この曲率の減少は、最適損失L*のε範囲内でモデルサイズ（ΔN）とデータセットサイズ（ΔD）の選択範囲が約2桁拡大することを意味する。したがって、より高い計算量は、より広範なパラメータとデータの配分でほぼ最適な性能を達成することを可能にし、効率的な推論のフロンティアを開く。
さらに、我々が提案するpJSD指標は、SLMの言語品質を評価するための新しい定量的手段を提供する。これは音素レベルの分布差に基づいており、音声モデルの言語内容の忠実度をより直接的に反映する。実験結果は、pJSDが検証損失と同様にスケーリング則に従うことを示し、CD SLMの拡張性をさらに検証している。
CD SLMは生成品質において優れているが、長文の一貫性は未解決の課題である。今後の研究では、より効率的なアテンション機構や階層構造を組み合わせて、長いシーケンスのモデリング能力を向上させる必要があるかもしれない。全体として、この研究は連続拡散モデルの音声言語モデリングへの応用に強力な実証的サポートを提供し、スケーリングによる効率的な推論の潜在的な道筋を示している。