跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

TajPersLexon: 一种塔吉克-波斯语词汇资源及跨脚本低资源NLP的混合模型

文章摘要

本文介绍了TajPersLexon,一个包含40,112个单词和短语对的塔吉克-波斯语平行词汇资源,用于低资源场景下的跨脚本词汇检索、音译和对齐。研究在仅使用CPU的条件下,对三种方法族进行了全面基准测试:轻量级混合管道、神经序列到序列模型和检索方法。评估表明,该任务基本可解,神经和检索基线达到了98-99%的Top-1准确率。值得注意的是,大型多语言句子转换器在此精确词汇匹配任务上表现不佳,而可解释的混合模型在OCR后校正任务中实现了96.4%的准确率,提供了良好的精度-效率权衡。所有实验使用固定随机种子以确保完全可重复性。数据集、代码和模型将公开发布。

来源arXiv Computational Linguistics作者: Mullosharaf K. Arabov
TajPersLexon: 一种塔吉克-波斯语词汇资源及跨脚本低资源NLP的混合模型
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

塔吉克语和波斯语在历史上同属伊朗语支,但分别采用西里尔字母和阿拉伯字母书写,这种脚本差异给跨语言自然语言处理带来了显著挑战。针对这一低资源场景下的实际需求,研究团队推出了TajPersLexon——一个经过精心策划的塔吉克-波斯语平行词汇资源,共收录40,112个词汇和短句对齐对。该资源专门用于支持跨脚本词汇检索、音译和词汇对齐等核心任务,旨在弥补该语言对在NLP基础设施方面的空白,为后续研究奠定数据基础。

为了全面评估不同技术路线在此任务上的表现,研究团队设计了一套仅依赖CPU的计算基准测试,系统比较了三种方法族:轻量级混合管道、神经序列到序列模型以及基于检索的方法。评估结果显示,该任务在现有技术条件下基本可解:神经方法和检索基线均达到了98-99%的Top-1准确率,展现出极高的匹配精度。然而,值得注意的是,当前流行的大型多语言句子转换器在此精确词汇匹配任务上表现欠佳,未能发挥其跨语言优势。

在进一步的应用评估中,研究团队提出的可解释混合模型在一项OCR后校正任务中实现了96.4%的准确率,展示了良好的精度与效率权衡。该模型不仅具有可解释性,便于研究人员理解和调试,而且计算资源需求低,适合实际部署。所有实验均采用固定随机种子,确保了实验结果的完全可重复性。

TajPersLexon的数据集、源代码以及预训练模型将在未来公开发布,预计将为塔吉克-波斯语相关NLP研究提供重要支撑。该研究成果已发表于SilkRoadNLP 2026研讨会论文集,标志着低资源语言处理领域的一项新进展。

展开要点与分析

文章情报

投资人进阶

要点

  • TajPersLexon资源包含40,112个塔吉克-波斯语词汇对,支持跨脚本处理。
  • 仅使用CPU的基准测试显示,神经和检索方法达到98-99%的Top-1准确率。
  • 提出的混合模型在OCR后校正中达到96.4%准确率,优于大型多语言句子转换器。
  • 所有资源将公开发布,实验完全可重复。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。