MentalMARBERT：面向阿拉伯語心理健康障礙檢測的領域自適應預訓練與兩階段微調
一項新研究提出了MentalMARBERT，這是MARBERT的領域自適應版本，用於從阿拉伯語社交媒體文本中檢測心理健康障礙。採用自適應預訓練和分層微調的兩階段框架，該模型在一個包含50,670條推文（涵蓋六個類別）的新數據集上實現了0.861的宏F1和0.877的準確率，達到了最先進水平。
在阿拉伯語社交媒體文本中檢測心理健康障礙是一項極具挑戰性的任務。阿拉伯語具有豐富的方言變體，社交媒體文本常使用非正式語言，且高質量標註資源稀缺，類別不平衡問題嚴重。儘管英語心理健康自然語言處理（NLP）已取得長足進展，但阿拉伯語的多類別障礙分類研究仍然不足。為此，最新研究論文提出了一種兩階段框架，旨在提升阿拉伯語心理健康文本分類的性能。
第一階段，研究人員對三種阿拉伯語預訓練語言模型——AraBERT、CAMeLBERT和MARBERT——進行了領域自適應預訓練（DAPT）和任務自適應預訓練（TAPT）。他們利用大規模未標註的阿拉伯語心理健康推文語料庫進行自適應訓練。經過統一協議評估，最終確定MARBERT為最有效的骨幹模型。
第二階段，選定的MARBERT模型在四種配置下進行評估：單階段與層級兩階段分類架構，以及全微調與低秩適應（LoRA）方法。層級兩階段架構先進行粗粒度分類，再進行細粒度分類。
為支持研究，團隊構建了一個全新的阿拉伯語心理健康註釋數據集，包含50,670條推文，涵蓋六個類別，且具有較高的註釋者間一致性（Krippendorff's Alpha = 0.733，平均成對一致性 = 0.797）。實驗結果表明，領域自適應的MARBERT（稱為MentalMARBERT）在準確率和宏F1指標上均取得統計學顯著改進。其中，層級兩階段架構結合全微調達到最佳整體性能，宏F1為0.861，準確率為0.877。
這些發現證明了領域特定自適應預訓練和層級分類在阿拉伯語心理健康障礙檢測中的有效性。該研究為低資源語言的心理健康NLP提供了新思路，有望推動相關應用的進一步發展。