MentalMARBERT：面向阿拉伯语心理健康障碍检测的领域自适应预训练与两阶段微调
一项新研究提出了MentalMARBERT，这是MARBERT的领域自适应版本，用于从阿拉伯语社交媒体文本中检测心理健康障碍。采用自适应预训练和分层微调的两阶段框架，该模型在一个包含50,670条推文（涵盖六个类别）的新数据集上实现了0.861的宏F1和0.877的准确率，达到了最先进水平。
在阿拉伯语社交媒体文本中检测心理健康障碍是一项极具挑战性的任务。阿拉伯语具有丰富的方言变体，社交媒体文本常使用非正式语言，且高质量标注资源稀缺，类别不平衡问题严重。尽管英语心理健康自然语言处理（NLP）已取得长足进展，但阿拉伯语的多类别障碍分类研究仍然不足。为此，最新研究论文提出了一种两阶段框架，旨在提升阿拉伯语心理健康文本分类的性能。
第一阶段，研究人员对三种阿拉伯语预训练语言模型——AraBERT、CAMeLBERT和MARBERT——进行了领域自适应预训练（DAPT）和任务自适应预训练（TAPT）。他们利用大规模未标注的阿拉伯语心理健康推文语料库进行自适应训练。经过统一协议评估，最终确定MARBERT为最有效的骨干模型。
第二阶段，选定的MARBERT模型在四种配置下进行评估：单阶段与层级两阶段分类架构，以及全微调与低秩适应（LoRA）方法。层级两阶段架构先进行粗粒度分类，再进行细粒度分类。
为支持研究，团队构建了一个全新的阿拉伯语心理健康注释数据集，包含50,670条推文，涵盖六个类别，且具有较高的注释者间一致性（Krippendorff's Alpha = 0.733，平均成对一致性 = 0.797）。实验结果表明，领域自适应的MARBERT（称为MentalMARBERT）在准确率和宏F1指标上均取得统计学显著改进。其中，层级两阶段架构结合全微调达到最佳整体性能，宏F1为0.861，准确率为0.877。
这些发现证明了领域特定自适应预训练和层级分类在阿拉伯语心理健康障碍检测中的有效性。该研究为低资源语言的心理健康NLP提供了新思路，有望推动相关应用的进一步发展。