冰島語自然語言處理長期依賴 IceBERT 作為參考編碼器。此前 IceBERT 的兩項結論是：經過清洗的網路抓取資料足以訓練出強模型；從多語言模型出發可以在部分任務上帶來幫助。Hafsteinn Einarsson 的新論文《Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters》用 ModernBERT 架構重新審視了這兩項發現。
研究團隊在 90 億 token 的開放資料上訓練了引數規模從 1200 萬到 10 億的冰島語編碼器，共涉及 30 個模型。他們在同一套評測協議下重新執行了 IceBERT 原有的基準以及五項較新的任務，併為結果計算了置信區間。這種統一協議、覆蓋多規模模型的評測方式，使不同訓練策略之間的比較更具統計可靠性。
最引人注目的結果是 10 億引數模型。據作者所知，這是首個該規模的單語冰島語編碼器。從頭訓練時，它在全部 11 項任務上都顯著優於 IceBERT。若從相同形狀的英語 Ettin 編碼器熱啟動，該模型在作者排名的每一項任務上都取得了所有編碼器中的最佳分數。
論文的一個關鍵優勢是模型形狀與英語 Ettin 編碼器及多語言 mmBERT 對齊，因此可以在受控條件下檢驗熱啟動效果。作者在六種模型規模和四種 token 預算下進行了測試。在移植冰島語詞彙表後，熱啟動從未顯著差於在相同冰島語文本上從頭訓練；從 base 規模往上，熱啟動在四項任務上也不顯著差於使用四倍文本從頭訓練，而在 base 和 10 億引數規模上，這一倍數為八倍。
作者進一步分析了遷移來源。隨著模型增大，大部分遷移收益來自源模型的 transformer 層，因此即使源模型是英語的，也能為冰島語編碼器提供有效幫助。相反，如果保留源模型的詞彙表而不是移植冰島語詞彙，問答任務會損失 5 個 F1 點，計算量也增加近三倍。
論文共 20 頁，包含 1 幅圖和 11 張表，模型已公開。該工作表明，開放資料配合 ModernBERT 架構可以顯著推進低資源語言的編碼器水平；熱啟動策略在多數情況下能節省資料與計算，但詞彙表適配至關重要。