arXiv上发布的一篇新论文介绍了拉丁现代BERT（LAMB），这是一种专为拉丁语设计的编码器模型，基于ModernBERT架构构建。该模型在超过740亿拉丁语词元上进行了两阶段预训练，并采用了一种新颖的形态学驱动掩码策略，旨在更好地捕捉拉丁语的形态学特征。
除了模型本身，作者还构建并发布了两个拉丁语语料库。第一个名为Acervus，包含240亿BERT WordPiece词元，其中超过76万个样本来自严重损坏的OCR转录文本。这些文本通过一个专门为拉丁语文本修复训练的ByT5模型进行了修复。第二个语料库名为Corpus Trinum，包含超过1亿个强和弱拉丁语语义三元组的混合。据作者称，Corpus Trinum是首个拉丁语语义三元组数据集，为拉丁语语言模型适应通用句子语义相似度任务打开了大门。
为了评估LAMB的性能，研究团队构建了一个实验网格，涵盖5项任务和17个子任务，并应用了多种微调配置和子词聚合技术。评估对象包括15个预训练编码器、6个LAMB训练检查点以及一个旨在量化不同掩码策略影响的消融模型。利用这一基准，作者对拉丁语编码器进行了排名，发现LAMB在17个子任务中的16个上优于所有其他评估模型，而在第17个子任务上，其性能与最先进水平相差不到0.8个百分点。
论文还提供了额外分析，探讨了拉丁语编码器性能与分词器行为、句法结构、微调配置、预训练状态、子词聚合以及源文本和领域变化之间的关系。在这些分析中，作者发现了拉丁语开放类词在终端衰减阶段的独特习得动态，并确定对于某些任务类别，微调配置的选择对下游分数的影响可能大于增加额外的预训练词元。这一发现对于资源匮乏语言的模型开发具有重要启示。
该论文提交于2026年10月22日，属于计算与语言（cs.CL）领域，ACM分类为I.2.7和I.2.6。论文作者为Aidan McCarthy，全文可通过arXiv获取。