言語モデルのデータスケーリング則を駆動する要因について、新たな研究が従来の「トークン頻度の裾」とは異なる機構像を提示した。この研究はarXivプレプリントとして公開され、タイトルは「Data Scaling as Progressive Coverage of a Predictive Contribution Spectrum」、Zihui Song氏ら5名の著者による8ページ・6図の論文で、計算と言語（cs.CL）に分類され、人工知能（cs.AI）および機械学習（cs.LG）にも関連する。
研究チームはテキストコーパスの表現にサフィックスオートマトン（suffix automaton）を採用し、その上でデータ内在的な「グローバルKL予測寄与スペクトル」を定義した。このスペクトルでは、各状態がその経験質量（empirical mass）に、グローバルな次トークン予測ベースラインからのKL偏差を乗じた値で寄与する。この構成により、トークンの出現頻度だけに依存せず、コーパス内の各予測状態がモデル学習にとって持つ相対的重要性を捉えることを目指している。
このスペクトルとスケーリング則の関連を検証するため、著者らは12の実コーパスを分析した。その結果、スペクトルの裾斜率が、固定された小型GPT学習器の経験的データスケーリング指数とすでに強い相関を示すことが明らかになった。これは、コーパス自体の予測寄与スペクトルの形状から、データ量増加に伴う損失低下速度をある程度予測できることを意味する。
さらに研究は単純な斜率相関を超える。各訓練規模Nに対して、観測された超過損失を事前に用意した1000kグローバルKLスペクトルの残差裾質量に一致させることで、「有効打ち切りランク」K(N)を定義した。経験的结果として、log Kはlog Nに対してほぼ線形であり、プールされたR²は原始スペクトルで約0.96、平滑化スペクトルで約0.90であった。この高い適合度は、有効打ち切りランクが訓練規模とともに冪則的に増大し、スペクトルの裾質量が残りの超過損失をよく追跡することを示している。
これらの発見は、簡潔な機構像に対して強い経験的支持を与える。すなわち、訓練規模の拡大は予測状態スペクトル内の「有効フロンティア」を前進させることであり、そのスペクトルの残差裾質量がモデルがまだ説明できていない超過損失に対応する。言い換えれば、データスケーリング則は、モデルが潜在的な予測寄与スペクトルを段階的にカバーしていく過程を反映している可能性があり、単にトークン頻度の裾に制約されるものではない。この視点は、将来のより効率的なデータ選択戦略の設計やスケーリング挙動の予測に新たな理論的基盤を提供する可能性がある。
論文は2026年4月5日に投稿され、v1版はUTC10:47:24に公開された。全文はarXivで入手可能で、DOIは10.48550/arXiv.2605.20196である。