跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

超越干净文本:评估编码器与解码器在孟加拉语嘈杂文本事件检测中的鲁棒性

文章摘要

该研究构建了首个孟加拉语新闻事件检测基准,包含9,979个标注句子和40种事件子类型,覆盖干净文本、ASR转录和拼写损坏文本。系统评估了编码器模型(BanglaBERT、XLM-R)与解码器大语言模型(Llama 3、Gemma 3),发现编码器在干净文本上表现更优但噪声下性能大幅下降,而解码器LLM鲁棒性更强;指令微调时嵌入标注指南可提升噪声文本基线,模型扩展持续增强解码器鲁棒性,干净与噪声数据联合训练作为正则化策略显著缩小鲁棒性差距,尤其利于编码器架构。

来源arXiv Computational Linguistics作者: Tanvir Ahmed Sijan, S. M Golam Rifat, Nayeemul Islam, Md. Musfique Anwar
超越干净文本:评估编码器与解码器在孟加拉语嘈杂文本事件检测中的鲁棒性
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

该论文《超越洁净文本:面向含噪文本的孟加拉语事件检测中编码器与解码器鲁棒性评估》于2026年6月29日提交至arXiv,分类为计算与语言(cs.CL),作者为Tanvir Ahmed Sijan及另外三位合作者,论文共17页,含8幅图。研究聚焦于一个长期被忽视的问题:事件检测(ED)系统通常在干净、经过整理文本上进行评估,其在真实世界噪声下的鲁棒性鲜有探讨,对孟加拉语等低资源语言而言尤其如此。

为填补这一空白,作者提出了一个通用的孟加拉语新闻事件本体,并构建了一个包含9,979条标注句子、覆盖40种事件子类型的基准数据集。该基准横跨三类文本条件:干净的新闻文本、真实场景下的自动语音识别(ASR)转写文本,以及存在正字法(拼写)错误的损坏文本。这种多条件的设置使研究者能够直接观察模型在从理想输入到真实噪声输入时的性能变化。

在建模方面,研究系统评估了两类架构。一类是经过微调的仅编码器模型,包括BanglaBERT和XLM-R;另一类是经过指令微调的仅解码器大语言模型,包括Llama 3和Gemma 3。通过在同一基准上对比这两类模型的表現,作者揭示出一个清晰的架构权衡:编码器模型在干净文本上表现更好,但在噪声条件下性能明显下降;相比之下,仅解码器的大语言模型鲁棒性显著更强,尤其在事件触发词被损坏的情况下优势更为明显。

论文进一步考察了在指令微调阶段嵌入标注指南的效果。结果显示,这种做法能在含噪文本上建立一个更高的性能基线,但在不同噪声条件下带来的性能降幅缩减并不一致,说明单纯注入标注知识并不能稳定地解决鲁棒性问题。

最后,作者报告了两项重要发现。其一,模型规模扩展能够持续提升仅解码器大语言模型的鲁棒性。其二,在干净数据与含噪数据上联合训练可作为一种有效的正则化策略,且这种收益对编码器架构尤为明显,能够显著缩小编码器与解码器之间的鲁棒性差距。总体而言,该研究为低资源语言事件检测在真实噪声环境下的评估提供了数据集与方法论基础,并为架构选择与训练策略提供了实证依据。

展开要点与分析

文章情报

工程师进阶

要点

  • 构建了涵盖9,979个句子、40种事件子类型的孟加拉语新闻事件检测基准,包含干净、ASR和拼写损坏三种文本条件。
  • 编码器模型(BanglaBERT、XLM-R)在干净文本上性能更高,但噪声下退化明显;解码器LLM(Llama 3、Gemma 3)对噪声更鲁棒,尤其当事件触发词损坏时。
  • 指令微调中嵌入标注指南可提高噪声文本上的基线性能,但对性能下降的减少不一致;模型扩展持续提升解码器LLM鲁棒性。
  • 干净与噪声数据联合训练作为有效正则化策略,显著缩小编码器与解码器间的鲁棒性差距,对编码器架构受益更大。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。