arXivに新たな論文が公開され、ラテン語専用のエンコーダモデル「Latin Modern BERT（LAMB）」が提案された。LAMBはModernBERTアーキテクチャをベースにしており、740億以上のラテン語トークンを用いて2段階の事前学習を行っている。特筆すべきは、形態論に基づく新しいマスキング戦略を採用している点で、ラテン語の形態的特徴をより適切に捉えることを目的としている。
モデルに加えて、著者らはラテン語の2つのコーパスを構築・公開した。1つ目は「Acervus」で、240億のBERT WordPieceトークンを含み、そのうち76万以上のサンプルは深刻な損傷を受けたOCR転写テキストに由来する。これらのテキストは、ラテン語テキスト修復用に訓練されたByT5モデルによって修復された。2つ目の「Corpus Trinum」は、1億以上の強・弱ラテン語意味トリプレットの混合を含む。著者によれば、Corpus Trinumはラテン語初の意味トリプレットデータセットであり、ラテン語言語モデルを一般的な文意味類似度タスクに適応させる道を開くものである。
LAMBの性能を評価するため、研究チームは5つのタスクと17のサブタスクからなる実験グリッドを構築し、多様な微調整設定とサブワード集約手法を適用した。評価対象には15の事前学習済みエンコーダ、6つのLAMB訓練チェックポイント、そして異なるマスキング戦略の影響を定量化するためのアブレーションモデルが含まれる。このベンチマークを用いてラテン語エンコーダをランク付けした結果、LAMBは17サブタスク中16で他の全評価モデルを上回り、17番目のサブタスクでも最先端性能との差は0.8パーセントポイント未満であった。
論文ではさらに、ラテン語エンコーダの性能と、トークナイザの挙動、統語構造、微調整設定、事前学習状態、サブワード集約、ソーステキストやドメインの変動との関係について分析を行っている。これらの分析から、著者らはラテン語の開放類語が終端減衰段階で示す独特な獲得ダイナミクスを特定し、一部のタスクカテゴリでは、微調整設定の選択が下流スコアに与える影響が、追加の事前学習トークンよりも大きくなる可能性があることを明らかにした。この発見は、リソースが限られた言語のモデル開発に重要な示唆を与える。
本論文は2026年10月22日に提出され、計算と言語（cs.CL）分野に属し、ACM分類はI.2.7およびI.2.6である。著者はAidan McCarthyで、全文はarXivから入手可能である。