冰岛语自然语言处理长期依赖 IceBERT 作为参考编码器。此前 IceBERT 的两项结论是：经过清洗的网络抓取数据足以训练出强模型；从多语言模型出发可以在部分任务上带来帮助。Hafsteinn Einarsson 的新论文《Beyond IceBERT: Open-Data ModernBERT Encoders for Icelandic from 12M to 1B Parameters》用 ModernBERT 架构重新审视了这两项发现。
研究团队在 90 亿 token 的开放数据上训练了参数规模从 1200 万到 10 亿的冰岛语编码器，共涉及 30 个模型。他们在同一套评测协议下重新运行了 IceBERT 原有的基准以及五项较新的任务，并为结果计算了置信区间。这种统一协议、覆盖多规模模型的评测方式，使不同训练策略之间的比较更具统计可靠性。
最引人注目的结果是 10 亿参数模型。据作者所知，这是首个该规模的单语冰岛语编码器。从头训练时，它在全部 11 项任务上都显著优于 IceBERT。若从相同形状的英语 Ettin 编码器热启动，该模型在作者排名的每一项任务上都取得了所有编码器中的最佳分数。
论文的一个关键优势是模型形状与英语 Ettin 编码器及多语言 mmBERT 对齐，因此可以在受控条件下检验热启动效果。作者在六种模型规模和四种 token 预算下进行了测试。在移植冰岛语词汇表后，热启动从未显著差于在相同冰岛语文本上从头训练；从 base 规模往上，热启动在四项任务上也不显著差于使用四倍文本从头训练，而在 base 和 10 亿参数规模上，这一倍数为八倍。
作者进一步分析了迁移来源。随着模型增大，大部分迁移收益来自源模型的 transformer 层，因此即使源模型是英语的，也能为冰岛语编码器提供有效帮助。相反，如果保留源模型的词汇表而不是移植冰岛语词汇，问答任务会损失 5 个 F1 点，计算量也增加近三倍。
论文共 20 页，包含 1 幅图和 11 张表，模型已公开。该工作表明，开放数据配合 ModernBERT 架构可以显著推进低资源语言的编码器水平；热启动策略在多数情况下能节省数据与计算，但词汇表适配至关重要。