アイスランド語の自然言語処理では、長らくIceBERTが参照エンコーダとして使われてきた。IceBERTの研究では、清洗済みのウェブクロールデータで強力なモデルを訓練できること、そして多言語モデルから出発することが一部のタスクで役立つことが示されていた。Hafsteinn Einarssonによる新論文「Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters」は、ModernBERTアーキテクチャを用いてこの二つの知見を再検討している。
研究チームは90億トークンのオープンデータ上で、1200万から10億パラメータまでのアイスランド語エンコーダを訓練した。評価対象は30モデルに及び、IceBERTの既存ベンチマークに加えて5つの新しいタスクを同一プロトコルで再実行し、信頼区間付きで結果を報告している。この統一評価により、異なる訓練戦略間の比較が統計的に信頼できるものになっている。
最も注目すべきは10億パラメータモデルだ。著者の知る限り、この規模の単言語アイスランド語エンコーダは初めてである。スクラッチから訓練した場合、全11タスクでIceBERTを有意に上回った。さらに、同形状の英語Ettinエンコーダからウォームスタートすると、ランキング対象の全タスクで全エンコーダ中最高のスコアを達成した。
本論文の強みは、モデル形状が英語Ettinエンコーダおよび多言語mmBERTと一致しているため、ウォームスタートの効果を制御条件下で検証できる点にある。著者は6つのモデルサイズと4つのトークン予算で実験した。アイスランド語語彙を移植した場合、ウォームスタートは同一アイスランド語テキストでのスクラッチ訓練より有意に悪化することはなかった。baseサイズ以上では、4倍のテキストでスクラッチ訓練した場合と比べても4タスクで有意差がなく、baseと10億パラメータでは8倍のテキストに対して同等だった。
著者は転移の源泉も分析している。モデルが大きくなるにつれ、転移の大部分はソースモデルのtransformer層に由来するため、英語のソースモデルでもアイスランド語エンコーダに有効な助けとなる。一方、アイスランド語語彙を移植せずソース語彙を保持すると、質問応答でF1が5ポイント低下し、計算量が約3倍に増える。
論文は20ページ、図1点、表11点で構成され、モデルは公開されている。本研究は、オープンデータとModernBERTアーキテクチャの組み合わせが低資源言語のエンコーダ性能を大きく前進させ得ること、そしてウォームスタートが多くの場合でデータと計算を節約できる一方、語彙の適応が極めて重要であることを示している。