論文「Provably Learning Diffusion Models under the Manifold Hypothesis: Collapse and Refine」は、2026年5月16日にarXivへ投稿されたもので、識別子はarXiv:2605.20235v1、分野は機械学習（cs.LG）および人工知能（cs.AI）にまたがる。著者はWei Huang氏を含む7名である。本論文が扱うのは拡散モデルにおける理論的な空白である。拡散モデルは高次元データを驚くほど高い品質で生成できるが、データが低次元多様体上に支持されている場合に、学習がなぜ次元の呪いを回避してスコア関数を効率的に獲得できるのかは、これまで理論的に説明されていなかった。著者らは、スコア関数自身の幾何構造に由来する「崩壊と精錬（collapse-and-refine）」と呼ぶ機構を特定し、この空白の説明を試みている。
この機構は二つの段階に分けて理解できる。小さなノイズスケールでは、スコア関数が発散する特異性を示し、その特異性が、ノイズ除去写像が誘導する写像の次元を急速に崩壊させ、データ多様体への射影へと収束させる。一方、中程度のノイズスケールでは、学習はすでに獲得された多様体上の内在的な密度を精錬する役割を担う。つまり同一のノイズ除去過程が、ノイズの大きさに応じて、まずデータの低次元な支持構造を同定し、次にその構造上で密度の細部を記述するという、異なる二つの仕事を担っていることになる。
著者らはこの原理を、Score-induced Latent Diffusion（SiLD）と名付けた二段階の枠組みとして具体化した。VAEベースの潜在拡散モデルとは異なり、SiLDはKL正則化というヒューリスティックに頼って潜在空間を得るのではなく、多様体学習と密度推定の双方を単一のノイズ除去スコアマッチング目的関数から同時に立ち上げる。この設計上の単純化には実質的な意味があり、潜在空間の構造の獲得を追加の正則化制約から切り離し、スコアマッチングそのものに委ねている点である。
理論面では、得られた手法のサンプル複雑度が環境次元ではなくデータの内在次元に依存するという重要な結論が示されている。これは、拡散モデルが高次元の状況でも次元の呪いを避けられる現象に対応するとともに、データが低次元多様体上にあるという仮定の下での学習可能性を証明として裏付けるものである。すなわち必要となるサンプル数は、観測空間の次元ではなく多様体の内在的な複雑さに応じて増大する。
実験では、Stacked MNIST、CelebAの複数の変種、そして分子生成のベンチマークを用いて検証が行われた。結果としてSiLDは、生成品質においてVAEベースの潜在拡散モデルと同等以上であり、再構成の指標では一貫した改善を示し、理論的な予測と相互に裏付け合う結果となっている。論文には3点の図が添えられ、ファイルサイズは約1,340 KBで、arXivからPDF、実験的なHTML版、TeXソースを入手できる。
なお、本論文の根拠は主にこれらのベンチマークにおける実験比較と理論的導出であり、要旨ではサンプル複雑度の具体的な次数、各ノイズスケール区間の分割方法、SiLDが異なる多様体仮定の下でどこまで適用可能かといった境界については明らかにされていない。これらの詳細は本文を参照して確認する必要がある。