在大型语言模型（LLM）的预训练中，模型能力是核心变量，却无法被直接观测：数据前瞻性地塑造能力，而评估只能回溯性地揭示能力，并将样本、提示词、解码策略和评分规则压缩成一个带有噪声的分数。实际优化常常反向进行：工程师先观察到失败，再推断语料库需要如何修正。然而，评估和数据两侧使用着互不兼容的词汇——基准名称和逐样本正确性，对比数据来源、领域和质量标签——导致这种推断往往依赖直觉而非系统方法。
为了弥合这一鸿沟，来自 arXiv 的论文《Data and Evaluation Closed-Loop for Model Capability Enhancement》引入了“能力切片”（capability slice）的概念。能力切片是一组共享背景条件、任务类型、求解操作和输出约束的评估样本，它既足够精确以定位单一弱点，又足够稳定以在聚合后保持意义，从而克服了基准名称过于粗泛或单个样本噪声过大的问题。
围绕这一单元，研究者构建了三个组件：评估分类法、非指令数据分类法以及两者之间的映射规则。它们共同形成一个闭环，能够将基准级别的失败转化为有针对性的、可测试的数据干预。
论文通过两个方向相反的案例研究验证了这一闭环。第一个案例中，闭环排除了数据因素：持续预训练导致 BBH 基准下降 46.82%，但诊断显示这源于一个被掩码的 <EOS> 损失，而非推理能力减弱。恢复该损失后，BBH 恢复到 66.44，高于原始检查点，且无需更改数据。
第二个案例中，闭环锁定了数据因素：一个持续的数学推理弱点被按求解操作分解为具体的失败组合。基于此构建的弱点定向采样程序，将 AIME2025 和 AIME2026 的 Pass@128 从 6.67 和 0.00 分别提升至 26.67。
在两个案例中，同一套未修改的闭环得出了相反但正确的结论，表明从评估到数据的推断可以变得常规化、可审计且经过实验验证，而不再依赖直觉。这项研究为 LLM 预训练中的数据优化提供了系统化的方法论，有望提升模型开发的效率和可解释性。