2023年9月の立ち上げ以来、Open ASRリーダーボードは71万回以上アクセスされ、音声認識モデルのベンチマークとして重要な役割を果たしてきました。しかし、標準化とオープン性の追求は、ベンチマーク特化の最適化（ベンチマックス）のリスクも招きました。モデルが公共テストセットのみで高いスコアを達成しても、実世界のロバスト性が向上するとは限らないためです。
この問題に対処するため、Open ASRリーダーボードはAppen Inc.とDataoceanAIと協力し、高品質なプライベートデータセットを導入しました。これらのデータセットは、オーストラリア、カナダ、インド、アメリカ、イギリスなど多様な英語アクセントをカバーし、スクリプト読み上げと自発的な会話の両方を含みます。各データセットは、性別比、スタイル、書き起こしの詳細（句読点や言い間違いの有無）などが異なり、合計で28時間以上の音声が含まれています。
プライベートデータセットは非公開であるため、モデル開発者が特定のテストセットに過剰適合することを防ぎます。リーダーボードの平均WERはデフォルトでは公開データセットのみで計算されますが、ユーザーはトグルスイッチでプライベートデータを含めた場合の影響を確認できます。新しい「プライベートデータ」タブでは、スクリプト平均、会話平均、アメリカ英語平均、非アメリカ英語平均などの詳細指標も提供されますが、個別データセットのスコアは非公開とすることで、過度な最適化を防ぎます。
モデルの評価を希望する開発者は、Open ASRリーダーボードのGitHubリポジトリでプルリクエストを開き、公開データセットでの結果を報告します。チームが結果を検証し、プライベートデータセットのメトリクスを計算してリーダーボードを更新します。また、モデルカードにYAMLファイルを追加することで、公開データセットの自己報告結果をデータセットページに表示することも可能です。
複数のデータプロバイダを採用することで、仮に一つのプロバイダの類似データでモデルが学習されていたとしても、他のデータセットがバランスを取ります。また、プライベートデータがデフォルトで平均WERに含まれないため、ランキングへの影響は最小限に抑えられています。
今後は、実世界のノイズ条件を反映した評価の追加や、音声・書き起こし品質の自動検出ツールの改良が予定されています。Open ASRリーダーボードは、標準化、オープン性、そしてプライベート評価を組み合わせることで、音声認識の真の性能向上を支援し続けます。