大语言模型预训练的效果，正越来越取决于数据的组合方式，而不只是数据的绝对规模。然而，要实现理想的数据配比并非易事，核心障碍之一在于分类方法本身的缺陷：人工构建的类别体系常常存在本体层面的错位，即分类标签与实际语义结构并不吻合；而基于欧氏距离的聚类方法又难以处理嵌入空间的各向异性问题，向量分布往往在少数方向上高度集中，使得常规距离度量失真。针对这些痛点，Yue Min 等四位作者在 2026 年 4 月 27 日提交的论文《GEM: Geometric Entropy Mixing for Optimal LLM Data Curation》中提出了 GEM 框架，该工作已投稿至 ICML 2026，归类于机器学习（cs.LG）与人工智能（cs.AI）方向。
GEM 的核心思路是把数据策划重新表述为一个定义在超球面上的变分问题，并在目标函数中加入混合平衡正则项。与直接在欧氏空间中做聚类不同，这一方法从生成先验中解耦，再借助可证明收敛的 MM（Minorize-Maximize，最小化-最大化）算法对目标进行优化。作者指出，这样做能够有效对抗聚类坍缩现象——即大量样本被挤入少数几个簇，从而无法反映真实语义分布——并发现那些在欧氏启发式方法下不可见的、更为均衡的语义结构。换而言之，GEM 试图为数据配比提供一个更贴合嵌入几何形态的坐标系。
在工程可扩展性方面，研究团队采用教师-学生蒸馏的方式，将这种几何层面的保真度扩展到网络规模级别的语料库，使方法不至于只在小数据集上有效。与此同时，论文还引入了几何影响分数（Geometric Influence Score，GIS），用于生成可解释的分类体系，让数据分组的结果不仅能用于混合配比，也具备一定的可解释性。
实验结果基于 11 亿参数规模的模型。作者报告称，当 GEM 与 DoReMi、RegMix 等现有数据混合策略结合使用时，能够达到新的最优水平，下游任务的平均准确率最高提升 1.2 个百分点。论文强调，这一方法为可预测的数据混合提供了稳健的坐标系统。需要注意的是，当前结果主要建立在约十亿参数级别的模型上，摘要中并未披露更大规模模型上的表现，因此其在超大模型训练中的普适性仍有待进一步验证。论文提交时间为 2026 年 4 月 27 日 06:42:28 UTC，全文约 1,462 KB，可通过 arXiv 获取 PDF、实验性 HTML 及 TeX 源码。