2026年10月に公開されたarXiv論文「Whispering Wisely: Smart Subset Selection for ASR Fine-Tuning」は、Roi YozevitchとOr Haim Anidjarによる研究で、音声認識の実務において非常に現実的な課題に焦点を当てている。OpenAIのWhisperに代表される音声認識モデルは認識品質を大きく向上させた一方、特に大量の書き起こし済み音声が存在する状況ではファインチューニングのコストが依然として高い。新しい言語やドメインにモデルを適応させたい多くの実務者にとって、データ規模そのものが障壁となっている。
著者らが提案するのは、ファインチューニングの前に学習データからより小さく価値の高いサブセットを選び出すというアプローチである。具体的には、Whisperの事前学習済みエンコーダを用いて各音声サンプルを固定次元の埋め込みベクトルに符号化し、すべてのサンプルを埋め込み空間で統一的に表現する。その上で貪欲k-centerアルゴリズムを適用し、互いに離れた広い範囲をカバーする代表的なサンプルを段階的に選び、多様で代表性のある学習サブセットを構成する。この選択は人手によるルールに依存せず、モデル自身の表現能力を利用して情報量の多いデータを判断する点が特徴である。
論文では、性格の異なる2つの言語、ヘブライ語とデンマーク語で手法を検証している。実験結果によれば、ランダムサンプリングと比較して、k-center選択は多くの場合でより良い認識性能をもたらし、その優位性はサブセット規模が小さいときに特に顕著であった。つまり、利用可能なラベルの予算が限られ、大量のデータから取捨選択せざるを得ない状況では、埋め込みベースの選択戦略がより有用となる。サンプル規模を拡大するにつれて、両手法の差は縮小する傾向にある。
性能向上の要因を理解するため、著者らは選択されたサブセットの語彙的多様性をさらに分析した。その結果、同じサンプル数であれば、k-centerで選ばれたサブセットはより広範な言語内容をカバーするのに対し、ランダムなサブセットは語彙分布がより偏りやすいことが示された。この観察はk-center手法の有効性に対する一つの説明を与える。多様性の高いデータはモデルがより豊かな音声・言語現象に触れることを可能にし、限られた学習ステップでも十分な学習信号を得られるという可能性である。
著者らは、埋め込みベースのサブセット選択がASRのデータ選別に実用的な戦略を提供し、評価した2言語においてはサンプル予算が小さい場面で最も明確な認識上の利点が得られると結論づけている。論文は17ページ、図5点からなり、計算と言語（cs.CL）分野に属し、人工知能（cs.AI）にもまたがる内容である。ただし、この研究は現時点で2言語のみで評価されており、その結論がより多くの言語、異なるドメイン、そして大規模なデータセットに一般化できるかどうかは今後の検証を待つ必要がある。