塔吉克语和波斯语在历史上同属伊朗语支,但分别采用西里尔字母和阿拉伯字母书写,这种脚本差异给跨语言自然语言处理带来了显著挑战。针对这一低资源场景下的实际需求,研究团队推出了TajPersLexon——一个经过精心策划的塔吉克-波斯语平行词汇资源,共收录40,112个词汇和短句对齐对。该资源专门用于支持跨脚本词汇检索、音译和词汇对齐等核心任务,旨在弥补该语言对在NLP基础设施方面的空白,为后续研究奠定数据基础。
为了全面评估不同技术路线在此任务上的表现,研究团队设计了一套仅依赖CPU的计算基准测试,系统比较了三种方法族:轻量级混合管道、神经序列到序列模型以及基于检索的方法。评估结果显示,该任务在现有技术条件下基本可解:神经方法和检索基线均达到了98-99%的Top-1准确率,展现出极高的匹配精度。然而,值得注意的是,当前流行的大型多语言句子转换器在此精确词汇匹配任务上表现欠佳,未能发挥其跨语言优势。
在进一步的应用评估中,研究团队提出的可解释混合模型在一项OCR后校正任务中实现了96.4%的准确率,展示了良好的精度与效率权衡。该模型不仅具有可解释性,便于研究人员理解和调试,而且计算资源需求低,适合实际部署。所有实验均采用固定随机种子,确保了实验结果的完全可重复性。
TajPersLexon的数据集、源代码以及预训练模型将在未来公开发布,预计将为塔吉克-波斯语相关NLP研究提供重要支撑。该研究成果已发表于SilkRoadNLP 2026研讨会论文集,标志着低资源语言处理领域的一项新进展。