自2023年9月推出以來，Open ASR排行榜已獲得超過71萬次訪問。在標準化和開放性的推動下，該排行榜始終致力於為語音識別模型提供可靠的對比基準。然而，這也使其面臨benchmaxxing（針對基準測試的過度最佳化）的風險：模型可能透過專門最佳化在公共測試集上獲得高分，但實際魯棒性並未提升。
為應對這一挑戰，Open ASR排行榜與Appen Inc.和DataoceanAI合作，引入了新的高質量私有資料集。這些資料集涵蓋澳大利亞、加拿大、印度、美國、英國等多種英語口音，包括指令碼朗讀和自發對話兩種風格，總時長超過28小時。每個資料集在口音、性別比例、標註風格（如是否包含標點和口誤）等方面均經過精心設計，以模擬真實應用場景。
私有資料集旨在防止測試集汙染：由於不公開，模型開發者無法針對特定資料集進行最佳化。儘管如此，排行榜預設仍使用公共資料集計算平均WER，以確保基準的延續性。使用者可透過切換開關將私有資料納入宏觀平均，從而觀察其對模型排名的影響。新的“私有資料”選項卡還提供指令碼平均、對話平均、美國口音平均和非美國口音平均等細分指標，但故意不公開單個資料集的分數，以避免過度最佳化。
模型開發者若希望評估模型，可在Open ASR排行榜的GitHub倉庫中提交拉取請求，報告在公共集上的結果。團隊驗證後，將計算私有集上的指標並更新排行榜。同時，開發者也可透過模型卡中的YAML檔案自行報告公共集結果，出現在資料集頁面的未驗證排行榜中。
多資料提供者的設定平衡了潛在優勢：即使某模型使用了來自同一提供者的類似訓練資料，其他提供者的資料集仍可防止單一偏向。此外，私有資料的預設排除機制確保排名不會被訓練資料分佈所扭曲。
未來，團隊計劃納入更多真實噪聲條件下的評估，並持續改進音訊和轉錄質量檢測工具。Open ASR排行榜將繼續透過標準化、開放性與私有評估相結合的方式，推動語音識別技術的真實效能提升。