呼吸音の分類は臨床診断において重要な役割を果たしますが、従来の教師あり学習アプローチは大量のラベル付きデータに依存しています。Mustafa Talha İlerisoy氏らによってarXivに提出された最近の研究（番号2609.00055）は、大規模言語モデルを活用した音声とテキストの整列を組み込んだ革新的な枠組みを提案し、特定タスクのラベルを必要とせずに呼吸音分類モデルがゼロショット推論を可能にします。この成果はINTERSPEECH 2026で採択されており、呼吸音分類分野に新たな方向性を提供します。
自己教師あり呼吸エンコーダーは通常、意味的なガイダンスなしで音声特徴を学習するため、臨床用語の理解が制限されます。例えば、正常な呼吸音と異常な呼吸音を区別できなかったり、「湿性ラ音」や「喘鳴」などの用語の意味を理解できない場合があります。この問題に対処するため、研究者らは、エンコーダーを共有潜在空間内の医療用語と整列させ、ゼロショット能力を備えた基盤モデルに変換することを提案しました。これにより、モデルは事前に学習していないカテゴリの音声を直接分類できます。
しかし、患者の呼吸音と医療記録が必ずしも完全に対応しないため、ペアとなる音声・テキストデータの取得は困難であり、このようなデータを臨床環境で大規模に収集することは困難です。この課題に対処するため、医療用大規模言語モデル（LLM）を使用して、メタデータから構造化レポートを合成しました。これらのレポートには、「患者は持続的な湿性ラ音を示し、軽度の喘鳴を伴う」などの詳細な臨床記述が含まれており、対比学習の高密度な意味的アンカーとして機能します。この合成手法により、データ不足が効果的に緩和され、モデルに豊富な意味情報が提供されます。
トレーニング中、モデルはシグモイドベースの対比損失、エンコーダー固有の自己教師あり学習目標、類似性認識型ネガティブサンプリングを組み合わせます。対比損失は、類似した臨床意味を持つ音声表現が潜在空間で近接することを保証し、自己教師あり目標は音声の低レベル特徴を維持します。類似性認識型ネガティブサンプリングは、意味的に区別が難しいネガティブサンプルを優先的に選択し、モデルがより細かい病理学的境界を学習することを促します。この組み合わせ戦略により、微細な病理学的差異に対する感度が大幅に向上します。
広範な実験により、この方法は6つのデータセットにわたる9つのタスク（肺音分類、呼吸異常検出など）で平均ゼロショットAUC 61.3%を達成し、既存の汎用音声モデルであるCLAP（51.4%）やQwen2-Audio（54.9%）を大きく上回りました。特筆すべきは、フルスケールのベースラインモデルの使用データのわずか43%で最高の線形プローブAUC（71.6%）を達成したことです。対照的に、CLAPやQwen2-Audioは大規模な汎用データで事前学習されていますが、臨床診断タスクでは劣っています。これは、構造化された意味的整列を採用したモデルがデータをより効果的に活用し、大規模な汎用モデルよりも優れていることを示しています。
この研究の発見は、実際の臨床応用に重要な意味を持ちます。データが不足している医療シナリオでは、モデルは大規模な注釈データを必要とせずに、新しいタスクに対して効率的にゼロショット推論を行うことができます。さらに、この枠組みは呼吸音分類だけでなく、心音分類などの他の医学的音声タスクにも拡張できます。医学LLMのさらなる発展に伴い、音声とテキストの整列は、より広範な臨床診断において重要な役割を果たす可能性があります。この研究はINTERSPEECH 2026で採択されており、特にデータが不足しモデルの汎化が求められる実際のアプリケーションにおける呼吸音分類分野に新たな方向性を提供しています。