這篇發表於2026年10月的arXiv論文《Whispering Wisely: Smart Subset Selection for ASR Fine-Tuning》由Roi Yozevitch與Or Haim Anidjar撰寫，關注一個在語音識別工程實踐中非常現實的問題：以OpenAI Whisper為代表的自監督語音識別模型雖然顯著提升了識別質量，但微調成本依舊高昂，尤其是在已經積累了大量轉寫音訊的情況下。對許多希望把模型適配到新語言或新領域的從業者而言，資料規模反而成為一道門檻。
作者提出的思路是先從訓練資料中挑出一個更小但更有價值的子集，再進行微調。具體做法是藉助Whisper預訓練編碼器，把每一段音訊樣本編碼成固定維度的嵌入向量，從而在嵌入空間中統一表示所有樣本。隨後，研究者在這一表示空間上應用貪心k-center演算法，逐步選出彼此分散、覆蓋範圍廣的核心樣本，形成多樣且具代表性的訓練子集。這種選擇不依賴人工標註的規則，而是直接利用模型自身的表徵能力來判斷哪些資料更有資訊量。
論文在兩個差異明顯的語種上驗證了這一方法：希伯來語和丹麥語。實驗結果顯示，與隨機取樣相比，k-center選擇在多數情況下能帶來更好的識別表現，這種優勢在子集規模較小時尤為明顯。換言之，當可用的標註預算有限、必須從大量資料中做出取捨時，基於嵌入的選擇策略顯得更有價值；隨著取樣規模擴大，兩種策略之間的差距趨於收窄。
為了理解效能提升的來源，作者進一步分析了所選子集的詞彙多樣性。結果表明，在相同樣本數量下，k-center選出的子集覆蓋了更廣泛的語言內容，而隨機子集往往在詞彙分佈上更為集中。這一觀察為k-center方法的有效性提供了一種可能的解釋：更具多樣性的資料能幫助模型接觸到更豐富的語音與語言現象，從而在有限的訓練步數中獲得更充分的學習訊號。
作者總結認為，基於嵌入的子集選擇為ASR資料篩選提供了一種實用的策略，且在所評估的兩個語種中，識別收益最明顯地出現在樣本預算較小的場景。論文共17頁、含5幅圖，屬於計算與語言（cs.CL）方向，並交叉涉及人工智慧（cs.AI）。需要指出的是，該研究目前只在兩種語言上進行了評估，其結論能否推廣到更多語種、不同領域以及更大規模的資料集，仍有待後續工作驗證。