大規模言語モデル（LLM）の事前学習において、モデル能力は中心的な変数であるが、直接観測することはできない。データは将来にわたって能力を形成し、評価は事後にのみ能力を明らかにする。評価はサンプル、プロンプト、デコーディング、スコアリングルールを一つのノイズの多いスコアに圧縮する。実際の最適化は逆方向に進むことが多い。つまり、まず失敗が観察され、エンジニアはコーパスの修正を推測しなければならない。しかし、評価側とデータ側は互換性のない語彙を使用している。ベンチマーク名やサンプルごとの正解率と、データソース、ドメイン、品質ラベルは異なる言葉で語られるため、この推論は直感に頼りがちで、方法論とは言い難い。
このギャップを埋めるため、arXivの論文「Data and Evaluation Closed-Loop for Model Capability Enhancement」は「ケイパビリティ・スライス（capability slice）」という概念を導入する。ケイパビリティ・スライスとは、背景条件、タスクタイプ、解決操作、出力制約を共有する評価サンプルのグループである。単一の弱点を特定できるほど精密でありながら、集約後も安定して意味を保つことができるため、ベンチマーク名のように粗すぎたり、単一サンプルのようにノイズが多すぎたりする問題を克服する。
この単位を中心に、研究者らは評価分類法、非指示データ分類法、そして両者間のマッピングルールという3つのコンポーネントを構築した。これらは共に閉ループを形成し、ベンチマークレベルの失敗を、的を絞った検証可能なデータ介入に変換する。
論文では、この閉ループを反対方向の2つのケーススタディで検証している。最初のケースでは、閉ループはデータを除外した。継続的な事前学習によりBBHベンチマークが46.82%低下したが、診断の結果、これは推論能力の弱体化ではなく、マスクされた<EOS>損失に起因することが判明した。この損失を復元すると、データを変更することなく、BBHは66.44に回復し、元のチェックポイントを上回った。
2番目のケースでは、閉ループはデータを特定した。持続的な数学推論の弱点を解決操作ごとに分解し、具体的な失敗の組み合わせを明らかにした。これに基づいて構築された弱点指向のサンプリング手順により、AIME2025とAIME2026のPass@128はそれぞれ6.67と0.00から26.67に向上した。
両方のケースで、同一の未修正の閉ループが相反するが正しい結論に達した。これは、評価からデータへの推論が直感ではなく、定常的で監査可能かつ実験的に検証可能なものになり得ることを示している。この研究は、LLMの事前学習におけるデータ最適化に体系的な方法論を提供し、モデル開発の効率と解釈可能性の向上に貢献する可能性がある。