跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

MentalMARBERT:领域自适应预训练与两阶段微调用于阿拉伯语心理健康障碍检测

文章摘要

一项新研究提出两阶段框架,通过领域自适应预训练和层次化分类,显著提升阿拉伯语社交媒体文本中的心理健康障碍检测性能,并发布了包含50,670条推文的新标注数据集。

来源arXiv Computational Linguistics作者: Fatimah Almalki, Areej Alhothali, Lulwah Alharigy, Abdulrahman Aladeem
MentalMARBERT:领域自适应预训练与两阶段微调用于阿拉伯语心理健康障碍检测
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

阿拉伯语社交媒体文本中的心理健康障碍检测长期面临多重挑战:方言差异大、表达非正式、高质量标注资源稀缺,以及类别分布严重不均衡。相比之下,英语心理健康自然语言处理(NLP)已取得长足进步,但阿拉伯语的多类别障碍分类研究仍不充分。针对这一空白,Fatimah Almalki等作者在2026年6月10日提交至arXiv的论文中提出了一个两阶段框架,旨在系统提升阿拉伯语心理健康文本分类的性能。

该框架的第一阶段聚焦于骨干模型的选择与领域适配。研究选取了三个阿拉伯语预训练语言模型——AraBERT、CAMeLBERT和MARBERT,利用大规模无标注阿拉伯语心理健康推文语料,对它们进行领域自适应预训练(DAPT)和任务自适应预训练(TAPT)。随后,在统一的评估协议下比较这些适配后的模型,以确定最有效的骨干模型。这一设计使得模型能够更好地捕捉心理健康领域特有的语言模式和表达习惯,从而弥补通用预训练模型在专业领域的不足。

第二阶段则围绕分类架构和微调策略展开。研究选定的模型在四种配置下接受评估,这些配置结合了单阶段分类与层次化两阶段分类架构,并分别采用全微调和低秩适配(LoRA)两种微调方式。层次化两阶段架构将分类任务分解为粗粒度到细粒度的层次,有助于处理类别间的复杂关系;而LoRA作为一种参数高效微调方法,为资源受限场景提供了替代方案。

为了支撑上述研究,作者构建了一个全新的阿拉伯语心理健康标注数据集,包含50,670条推文,覆盖六个类别。该数据集在标注质量上表现良好,标注者间一致性指标Krippendorff's Alpha达到0.733,平均两两一致率为0.797,表明标注结果具有较高的可靠性。这一数据集的发布填补了阿拉伯语心理健康NLP资源的空白,为后续研究提供了重要基础。

实验结果表明,经过领域自适应预训练的MARBERT(即MentalMARBERT)在准确率和宏F1分数上均较基线模型取得了统计显著的提升。其中,层次化两阶段架构结合全微调的配置表现最佳,宏F1达到0.861,准确率达到0.877。这些结果验证了领域特定自适应预训练和层次化分类在阿拉伯语心理健康障碍检测中的有效性。论文共17页,包含5幅图和13张表,详细展示了模型比较、消融实验和错误分析等内容。

总体而言,该研究不仅提出了一个有效的技术框架,还贡献了高质量的数据集和系统的实验评估,为阿拉伯语心理健康NLP的未来发展奠定了基础。作者指出,方言多样性和类别不平衡仍是实际部署中需要持续关注的问题,而领域自适应预训练与层次化分类的结合为应对这些挑战提供了一条可行路径。

展开要点与分析

文章情报

工程师进阶

要点

  • 提出两阶段框架:先对三个阿拉伯语预训练模型进行领域自适应预训练,再比较单阶段与层次化两阶段分类架构及全微调与LoRA的效果。
  • 构建了新的阿拉伯语心理健康标注数据集,包含50,670条推文、六个类别,标注者间一致性较强(Krippendorff's Alpha=0.733)。
  • 领域自适应后的MARBERT(MentalMARBERT)在准确率和宏F1上均取得统计显著提升,最佳配置达到宏F1 0.861、准确率0.877。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。