大規模言語モデルの事前学習において、その有効性はデータの絶対量よりもデータの構成比率に依存する度合いが強まっている。しかし、最適な混合比率の設計は分類手法の欠陥によって妨げられてきた。人手による分類体系はオントロジー上の不整合を抱え、ユークリッド距離に基づくクラスタリングは埋め込み空間の異方性に対処できないという問題がある。Yue Min 氏ら4名の著者による論文「GEM: Geometric Entropy Mixing for Optimal LLM Data Curation」は、2026年4月27日に提出され、ICML 2026 に投稿された。主題は機械学習（cs.LG）および人工知能（cs.AI）に分類されている。
GEM の中核は、データキュレーションを超球面上の変分問題として再定式化し、混合バランスの正則化項を加える点にある。ユークリッド空間で直接クラスタリングするのではなく、生成事前分布を切り離したうえで、証明可能な MM（Minorize-Maximize）アルゴリズムによって目的関数を最適化する。著者によれば、この手法はクラスタ崩壊、すなわち多数のサンプルが少数のクラスタに押し込まれ真の意味分布を反映しなくなる現象に効果的に対抗し、ユークリッド的なヒューリスティクスでは見えないバランスの取れた意味構造を発見できる。言い換えれば、GEM はデータ混合に対して埋め込みの幾何形状により適合した座標系を提供しようとするものだ。
実用規模への拡張については、教師-生徒間の蒸留を用いることで、この幾何学的忠実性をウェブ規模のコーパスへと展開する。さらに、解釈可能な分類体系を生成するための指標として Geometric Influence Score（GIS）を導入している。これにより、データ分割の結果は混合比率の設計に使えるだけでなく、一定の解釈可能性も備える。
実験は11億パラメータ規模のモデルで行われた。GEM を DoReMi や RegMix といった既存のデータ混合戦略に組み込むと、新たな最先端を達成し、下流タスクの平均精度を最大1.2ポイント改善したと報告されている。論文は、予測可能なデータ混合のための堅牢な座標系を提供すると主張する。ただし、現時点の結果は約10億パラメータ級のモデルに基づくもので、摘要ではそれ以上の規模での性能は示されていない。超大規模モデルへの一般性については今後の検証が必要である。論文は2026年4月27日 06:42:28 UTC に提出され、全文は約1,462 KB。arXiv から PDF、実験的 HTML、TeX ソースを取得できる。