Appleの機械学習研究チームは、条件付き拡散モデルにおける構成的一般化の局所的メカニズムに関する論文を発表しました。構成的一般化とは、モデルが訓練中に見たことのない条件の組み合わせに対して妥当なサンプルを生成する能力であり、その具体例として長さ一般化（訓練時よりも多くのオブジェクトを含む画像を生成する能力）が研究されました。この研究は、生成モデルが訓練データの分布を超えて機能する仕組みを理解する上で重要です。
研究者らはCLEVRデータセットで制御実験を行いました。このデータセットは、色、形、サイズなどの異なる属性を持つ3D物体の画像で構成されています。彼らは条件付き拡散モデルを訓練し、物体数を条件変数として使用しました。実験の結果、長さ一般化がある程度達成可能である一方、常に成功するわけではないことが分かりました。例えば、訓練時に最大3つの物体を含む画像で学習したモデルは、4つや5つの物体を含む画像を生成できる場合もありますが、できない場合もあります。これは、モデルが真の構成構造を学習しているのではなく、表面的な統計に依存していることを示唆しています。
このメカニズムを解明するため、研究チームは局所性の概念に注目しました。以前の研究（Kamb & Ganguli, 2024; Niedoba et al., 2024）では、無条件拡散モデルにおける創造性のメカニズムとしてスコア局所性が提案されましたが、柔軟な条件付けや構成的一般化には対応していませんでした。本研究では、特定の構成構造（条件付き射影構成、Bradley et al., 2025）と、ピクセルと条件の両方に疎な依存性を持つスコア（局所的條件スコア）との間の正確な等価性を証明しました。この理論は、特徴空間における概念の構成（スタイル＋コンテンツなど）にも拡張され、局所性がより広範な原理である可能性を示しています。
実験により理論を検証したところ、長さ一般化に成功したCLEVRモデルは局所的條件スコアを示しました。つまり、それらのスコア関数はピクセルと条件に対して疎な依存性を持っていました。一方、失敗したモデルはグローバルな依存性を示し、スコア関数が多数のピクセルと条件に敏感でした。さらに、局所的條件スコアを明示的に強制する因果的介入により、以前は失敗していたモデルでも長さ一般化が可能になりました。これは、局所的條件スコアが一般化の原因であることを直接証明しています。
最後に、研究チームは現在最先端のテキストから画像を生成するモデルSDXLを分析しました。ピクセル空間では、空間的局所性（ピクセル間の依存性が局所的）は存在するものの、条件局所性（画像のテキスト記述への依存性）はほとんど欠如していることが分かりました。しかし、ネットワークの学習された特徴空間では、局所的條件スコアの定量的証拠が見つかりました。これは、モデルが抽象的なレベルで局所性を利用している可能性を示しています。これらの発見は、条件付き拡散モデルが構成的一般化を達成するための重要な内部メカニズムを明らかにし、より強力で解釈可能な生成モデルの設計に理論的指針を提供します。