字母词形还原：用于逆转中世纪文本字符集简化和缩写的一对一与带状RNN

中世纪的文献抄写员在抄写时往往采用各自不同的习惯，加上各个机构的数字化政策也不尽相同，这使得语料库中的字符集呈现出一种流动的状态。为了灵活地在不同字符集之间进行转换，研究人员提出了一种称为“字母词形还原”（Letter Lemmatization）的新方法。该方法的核心是使用字符级的一对一循环神经网络（RNN），通过自监督学习来逆转字符映射。这种自监督学习方式不需要平行语料，而是利用字符映射本身的可逆性进行训练。令人惊讶的是，即使只使用20行文本，模型也能恢复一半的字符错误率（CER），这显示了其在小样本情况下的强大能力。研究团队进一步分析了这些一对一网络在手写文本识别（HTR）后校正中的应用，发现它们在完全忽略插入和删除操作的情况下，依然能够取得显著的改进，这表明网络主要关注字符的替换错误。随后，他们采用了完全相同的网络结构，但结合从平行语料库中编译的字符级对齐真实数据，采用一种称为“带状RNN”（Banded RNNs）的训练和推理模式。带状RNN通过限制注意力范围，能够有效处理字符之间的对齐问题，从而成功用于扩展中世纪宪章转录中的缩写。实验结果表明，该方法在扩展缩写方面取得了良好的效果。最后，研究团队引入了一种精细的启发式方法，该方法接受任意两个字符集的字符，并定义了一个度量来封装字符之间的语义相似度。这个度量考虑了字符的形状、发音以及上下文等多种因素，从而能够更准确地评估不同字符集之间的对应关系。他们将这种映射的构建称为“字母词形还原”，并发布了一个功能丰富的Python库，高效实现了所有提出的方法。该库包括训练、推理、评估等全套工具，并提供了预训练模型和示例数据，便于研究者快速上手。该研究已被2026年ICDAR研讨会VINALDO接收。这项研究不仅为处理中世纪文本的字符集变化提供了实用工具，也为手写文本识别后校正和缩写扩展开辟了新途径。同时，所提出的Python库使得其他研究者能够轻松应用这些技术，进一步推动相关领域的发展。此外，带状RNN的提出也展示了同一网络架构在不同任务中的灵活性，为未来研究提供了新的思路。研究人员相信，随着更多平行语料库的建立，该方法在处理更广泛的文本变体方面将发挥更大作用。