arXiv上釋出的一篇新論文介紹了拉丁現代BERT（LAMB），這是一種專為拉丁語設計的編碼器模型，基於ModernBERT架構構建。該模型在超過740億拉丁語詞元上進行了兩階段預訓練，並採用了一種新穎的形態學驅動掩碼策略，旨在更好地捕捉拉丁語的形態學特徵。
除了模型本身，作者還構建併發布了兩個拉丁語語料庫。第一個名為Acervus，包含240億BERT WordPiece詞元，其中超過76萬個樣本來自嚴重損壞的OCR轉錄文本。這些文本透過一個專門為拉丁語文本修復訓練的ByT5模型進行了修復。第二個語料庫名為Corpus Trinum，包含超過1億個強和弱拉丁語語義三元組的混合。據作者稱，Corpus Trinum是首個拉丁語語義三元組資料集，為拉丁語語言模型適應通用句子語義相似度任務開啟了大門。
為了評估LAMB的效能，研究團隊構建了一個實驗網格，涵蓋5項任務和17個子任務，並應用了多種微調配置和子詞聚合技術。評估物件包括15個預訓練編碼器、6個LAMB訓練檢查點以及一個旨在量化不同掩碼策略影響的消融模型。利用這一基準，作者對拉丁語編碼器進行了排名，發現LAMB在17個子任務中的16個上優於所有其他評估模型，而在第17個子任務上，其效能與最先進水平相差不到0.8個百分點。
論文還提供了額外分析，探討了拉丁語編碼器效能與分詞器行為、句法結構、微調配置、預訓練狀態、子詞聚合以及源文本和領域變化之間的關係。在這些分析中，作者發現了拉丁語開放類詞在終端衰減階段的獨特習得動態，並確定對於某些任務類別，微調配置的選擇對下游分數的影響可能大於增加額外的預訓練詞元。這一發現對於資源匱乏語言的模型開發具有重要啟示。
該論文提交於2026年10月22日，屬於計算與語言（cs.CL）領域，ACM分類為I.2.7和I.2.6。論文作者為Aidan McCarthy，全文可透過arXiv獲取。