在理解语言模型数据缩放定律的驱动因素方面，一项新研究提出了一个不同于传统“词频长尾”解释的机制图景：真实数据上的缩放行为可能由对潜在预测贡献谱的渐进覆盖所决定。该研究以arXiv预印本形式发布，标题为《Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum》，由Zihui Song等五位作者共同完成，共8页、含6幅图，归类于计算与语言（cs.CL），同时涉及人工智能（cs.AI）和机器学习（cs.LG）领域。
研究团队采用后缀自动机（suffix automaton）来表示文本语料，并在此基础上定义了一种数据内在的“全局KL预测贡献谱”。在这一谱中，每个状态依据其经验质量（empirical mass）乘以它相对于全局下一词预测基线的KL偏差来贡献数值。这种构造旨在捕捉语料中不同预测状态对模型学习的相对重要性，而不仅仅依赖token的出现频率。
为了验证该谱与缩放定律的联系，作者在12个真实语料上进行了分析。他们发现，该谱的尾部斜率已经与一个固定小型GPT学习器的经验数据缩放指数呈现出强相关性。这意味着，仅从语料本身的预测贡献谱形状，就能在一定程度上预测模型随数据量增加时的损失下降速度。
更进一步，研究超越了单纯的斜率相关分析。对于每一个训练规模N，作者定义了一个“有效截断秩”K(N)，其方法是将观测到的超额损失与预先准备的1000k全局KL谱的残差尾部质量进行匹配。经验结果表明，log K与log N近似呈线性关系：对于原始谱，合并R²约为0.96；对于平滑谱，合并R²约为0.90。这一高拟合度表明，有效截断秩随训练规模呈幂律式增长，且谱的尾部质量能够很好地追踪剩余超额损失。
这些发现为一种简洁的机制图景提供了强有力的经验支持：训练规模的扩大实际上是在预测状态谱中推进一个“有效前沿”，而该谱的残差尾部质量则对应着模型尚未解释的剩余超额损失。换句话说，数据缩放定律可能反映的是模型逐步覆盖一个潜在预测贡献谱的过程，而非仅仅受限于词频长尾。这一视角有望为未来设计更高效的数据选择策略和预测缩放行为提供新的理论基础。
该论文于2026年4月5日提交，v1版本于UTC时间10:47:24发布，全文可通过arXiv获取，DOI为10.48550/arXiv.2605.20196。