音声は健康状態を反映する独自の窓口であり、神経系、運動系、呼吸器系、発声系を同時に活性化する。しかし、現在の臨床音声AI研究は主に特定の疾患に焦点を当てた孤立した研究に依存しており、結果の比較や汎化能力の評価が困難である。この問題に対処するため、研究チームはSpeechDxを導入した。これは12のデータセットと27のタスクをカバーする大規模な臨床音声AIベンチマークであり、パーキンソン病、アルツハイマー病、うつ病、自閉症スペクトラム障害など多様な健康状態を含む。データセットは様々な研究機関から提供され、多言語・多様な録音条件下で収集されており、評価の多様性と現実性を確保している。
SpeechDxの革新的な点は、音声生成の段階（概念化、構文形成、調音）に基づいてタスクを構造化したことである。概念化段階は思考の形成と意図の計画に関わり、構文形成段階は文法と語彙の選択、調音段階は筋肉の協調と音声生成を扱う。この構造により、共通の臨床メカニズムに焦点を当てた評価が可能となる。例えば、構音障害は調音段階の障害を示す可能性があり、失語症は概念化や構文形成段階に影響を与える可能性がある。ベンチマークは、ラベル付きデータが少ないタスクを含め、同じ健康状態を複数のデータセットで評価することで汎化能力をテストし、臨床的に意味のあるパターンをデータセットのアーティファクトから区別する。例えば、あるモデルが病院Aのパーキンソン病データセットでは良好な成績を収めても、病院Bのデータセットでは成績が低下する場合、モデルは疾患の普遍的な特徴ではなくデータセット固有の特徴を学習している可能性がある。
研究チームは、12の最先端オーディオエンコーダ（Wav2Vec 2.0、HuBERTなどの大規模事前学習モデルや、病理音声に特化したモデル）を、全27タスクおよびゼロショットのクロスコンディション転送（ある疾患群で学習し別の疾患群でテスト）で系統的に評価した。結果は、大規模音声モデルが全体的に最も強力なベースラインを示し、特にクロスコンディション転送で優れていた。一方、ドメイン特化モデルは密接に関連したタスクでのみ性能を向上させた。しかし、どの表現も全てのタスクと条件で確実に汎化できるわけではなく、汎用臨床音声表現は依然として未解決の問題であることが示された。
SpeechDxは、汎用臨床音声表現の進捗を追跡するための共通評価フレームワークを確立する。標準化されたデータ分割、評価指標、ベースライン結果を提供し、研究者が公平に手法を比較できるようにする。さらに、コードとデータセットガイドラインを公開し、コミュニティの参加と改善を促進する。この研究は、臨床音声AIを孤立した研究から統一的な発展へと導く重要な一歩であり、疾病スクリーニング、遠隔モニタリング、補助診断におけるAIの実用化を加速することが期待される。