这篇发表于2026年10月的arXiv论文《Whispering Wisely: Smart Subset Selection for ASR Fine-Tuning》由Roi Yozevitch与Or Haim Anidjar撰写，关注一个在语音识别工程实践中非常现实的问题：以OpenAI Whisper为代表的自监督语音识别模型虽然显著提升了识别质量，但微调成本依旧高昂，尤其是在已经积累了大量转写音频的情况下。对许多希望把模型适配到新语言或新领域的从业者而言，数据规模反而成为一道门槛。
作者提出的思路是先从训练数据中挑出一个更小但更有价值的子集，再进行微调。具体做法是借助Whisper预训练编码器，把每一段音频样本编码成固定维度的嵌入向量，从而在嵌入空间中统一表示所有样本。随后，研究者在这一表示空间上应用贪心k-center算法，逐步选出彼此分散、覆盖范围广的核心样本，形成多样且具代表性的训练子集。这种选择不依赖人工标注的规则，而是直接利用模型自身的表征能力来判断哪些数据更有信息量。
论文在两个差异明显的语种上验证了这一方法：希伯来语和丹麦语。实验结果显示，与随机采样相比，k-center选择在多数情况下能带来更好的识别表现，这种优势在子集规模较小时尤为明显。换言之，当可用的标注预算有限、必须从大量数据中做出取舍时，基于嵌入的选择策略显得更有价值；随着采样规模扩大，两种策略之间的差距趋于收窄。
为了理解性能提升的来源，作者进一步分析了所选子集的词汇多样性。结果表明，在相同样本数量下，k-center选出的子集覆盖了更广泛的语言内容，而随机子集往往在词汇分布上更为集中。这一观察为k-center方法的有效性提供了一种可能的解释：更具多样性的数据能帮助模型接触到更丰富的语音与语言现象，从而在有限的训练步数中获得更充分的学习信号。
作者总结认为，基于嵌入的子集选择为ASR数据筛选提供了一种实用的策略，且在所评估的两个语种中，识别收益最明显地出现在样本预算较小的场景。论文共17页、含5幅图，属于计算与语言（cs.CL）方向，并交叉涉及人工智能（cs.AI）。需要指出的是，该研究目前只在两种语言上进行了评估，其结论能否推广到更多语种、不同领域以及更大规模的数据集，仍有待后续工作验证。