MentalMARBERT: アラビア語のメンタルヘルス障害検出のためのドメイン適応型事前学習と2段階ファインチューニング
新たな研究では、アラビア語のソーシャルメディアテキストからメンタルヘルス障害を検出するために、MARBERTのドメイン適応版であるMentalMARBERTを提案しています。適応的事前学習と階層的ファインチューニングからなる2段階フレームワークを用いて、6カテゴリにわたる50,670件のツイートからなる新しいデータセットで、マクロF1=0.861、精度=0.877という最先端の性能を達成しました。
アラビア語のソーシャルメディアテキストからメンタルヘルス障害を検出することは、方言の多様性、非公式な言語、高品質な注釈付きリソースの不足、深刻なクラス不均衡などにより困難です。英語のメンタルヘルス自然言語処理（NLP）は大幅に進歩していますが、アラビア語のマルチクラス障害分類はまだ十分に研究されていません。この研究では、アラビア語のメンタルヘルステキスト分類のための2段階フレームワークを提案しています。
第1段階では、3つのアラビア語事前学習言語モデル（AraBERT、CAMeLBERT、MARBERT）に対して、大規模な未ラベルのアラビア語メンタルヘルスツイートコーパスを用いたドメイン適応型事前学習（DAPT）およびタスク適応型事前学習（TAPT）を実施しました。統一されたプロトコルで評価され、最も効果的なバックボーンモデルとしてMARBERTが特定されました。
第2段階では、選択されたモデルを、単段階および階層的2段階分類アーキテクチャと、完全ファインチューニングおよび低ランク適応（LoRA）を組み合わせた4つの構成で評価しました。階層的アーキテクチャは、最初に大まかな分類を行い、その後詳細な分類を行います。
この研究を支援するために、6つのカテゴリにわたる50,670件のツイートからなる新しい注釈付きアラビア語メンタルヘルスデータセットを構築しました。注釈者間の一致度は高く（Krippendorffのα=0.733、平均ペアワイズ一致度=0.797）。実験結果は、ドメイン適応型MARBERT（MentalMARBERT）がベースラインモデルと比較して精度とマクロF1の両方で統計的に有意な改善を達成したことを示しています。階層的2段階アーキテクチャと完全ファインチューニングの組み合わせが最高の全体的性能を達成し、マクロF1=0.861、精度=0.877を記録しました。
これらの知見は、アラビア語のメンタルヘルス障害検出におけるドメイン特化的適応型事前学習と階層的分類の有効性を示しています。この研究は、低リソース言語のメンタルヘルスNLPに新たな道を開き、関連アプリケーションのさらなる発展に貢献することが期待されます。