在机器学习应用中，决定何时停止收集标注样本是一个基本但缺乏理论指导的问题。近日，一篇发表在arXiv上的论文（arXiv:2606.24903）提出了一个新颖的“饱和指数”（saturation index），为二元少样本分类任务提供了明确的停止规则。该指数通过计算池化类内样本协方差的有效秩与样本数（即“shot”数）的比值，量化了线性判别器的稳定程度。当该指数低于某个阈值时，表明协方差估计已充分接近总体协方差，线性判别基本稳定。该指数仅需支持特征即可计算，时间复杂度为O(d³)，无需测试标签或训练分类器，这使得它可以在数据收集过程中实时应用。
研究团队在17个二元任务、6个数据集上进行了评估，共收集了246个加倍对观测。结果显示，16个任务中饱和指数与边际准确率增益呈正相关，斯皮尔曼相关系数中位数高达0.811。将所有数据合并后，相关系数为0.548（p值1.1×10⁻²⁰），具有高度统计显著性。进一步的相图分析揭示了三个清晰的阶段：探索阶段（平均边际增益3.48%）、过渡阶段（2.40%）和饱和阶段（0.82%），各阶段之间的差异均具有统计显著性（p≤0.008）。这意味着随着样本增加，模型性能的提升会逐渐减缓，最终进入饱和区。
作为二元停止规则，饱和指数取得了0.752的AUC，为标注决策提供了有意义的概率指导。有趣的是，任务间的渐近有效秩与峰值精度之间并未呈现显著单调关系（斯皮尔曼rₛ=0.380，p=0.133），表明不同任务的内在难度差异较大。此外，低饱和指数与低准确率的组合可用于诊断表征不足问题——即若饱和指数很低但准确率仍低，说明当前特征表示不足以区分类别。这为研究人员提供了一种诊断工具，可以识别何时需要改进特征提取器而非简单增加样本。
该研究目前仅针对固定线性分类器的二元分类情况，但作者在讨论中提到了向N路分类和预训练骨干表示等扩展方向。这项工作为少样本学习中的标注预算分配提供了理论依据，有望减少不必要的标注成本。随着进一步扩展，饱和指数可能成为机器学习实践中一个标准的数据预算规划工具。