自2023年9月推出以來，Open ASR排行榜已獲得超過71萬次訪問。在標準化和開放性的推動下，該排行榜始終致力於為語音識別模型提供可靠的對比基準。然而，這也使其面臨benchmaxxing（針對基準測試的過度優化）的風險：模型可能通過專門優化在公共測試集上獲得高分，但實際魯棒性並未提升。
為應對這一挑戰，Open ASR排行榜與Appen Inc.和DataoceanAI合作，引入了新的高質量私有數據集。這些數據集涵蓋澳大利亞、加拿大、印度、美國、英國等多種英語口音，包括腳本朗讀和自發對話兩種風格，總時長超過28小時。每個數據集在口音、性別比例、標註風格（如是否包含標點和口誤）等方面均經過精心設計，以模擬真實應用場景。
私有數據集旨在防止測試集污染：由於不公開，模型開發者無法針對特定數據集進行優化。儘管如此，排行榜默認仍使用公共數據集計算平均WER，以確保基準的延續性。用户可通過切換開關將私有數據納入宏觀平均，從而觀察其對模型排名的影響。新的“私有數據”選項卡還提供腳本平均、對話平均、美國口音平均和非美國口音平均等細分指標，但故意不公開單個數據集的分數，以避免過度優化。
模型開發者若希望評估模型，可在Open ASR排行榜的GitHub倉庫中提交拉取請求，報告在公共集上的結果。團隊驗證後，將計算私有集上的指標並更新排行榜。同時，開發者也可通過模型卡中的YAML文件自行報告公共集結果，出現在數據集頁面的未驗證排行榜中。
多數據提供者的設定平衡了潛在優勢：即使某模型使用了來自同一提供者的類似訓練數據，其他提供者的數據集仍可防止單一偏向。此外，私有數據的默認排除機制確保排名不會被訓練數據分佈所扭曲。
未來，團隊計劃納入更多真實噪聲條件下的評估，並持續改進音頻和轉錄質量檢測工具。Open ASR排行榜將繼續通過標準化、開放性與私有評估相結合的方式，推動語音識別技術的真實性能提升。