本文介绍了一项关于在现代 BERT 模型上开展法律领域自适应（domain adaptation）的研究。论文题为《Legal Domain Adaptation of Modern BERT Models》，由 Dominik Stammbach 与另一位作者共同完成，提交于 2026 年 6 月 26 日，并计划发表于 2026 年 6 月 9 日至 12 日在新加坡举行的第 21 届人工智能与法律国际会议（ICAIL 2026）论文集。研究属于计算与语言（cs.CL）方向，arXiv 编号为 2606.28538，DOI 为 10.48550/arXiv.2606.28538，由 DataCite 颁发（注册尚待完成）。
研究的核心问题是：在已经用海量数据训练过的现代 BERT 模型之上，是否还有必要针对法律领域进行进一步的预训练。作者选择 ModernBERT 作为基础模型，利用掩码语言建模（masked language modeling）目标，在美国全部法院判决意见（US court opinions）语料上对其继续预训练，从而实现法律领域自适应。值得注意的是，ModernBERT 的训练数据量约为原始 BERT 的 500 倍，按理说已经具备很强的通用语言能力，但实验显示它依然能从法律领域的继续预训练中获益。
实验结果方面，作者报告称，与未经处理的原始 ModernBERT（vanilla ModernBERT）相比，领域自适应后的模型在所有与美国法院判决意见相关的数据集上都取得了显著提升。这一提升幅度与早期关于 BERT 类模型领域自适应的研究所报告的增益相近，说明即便模型规模和数据规模大幅增长，领域自适应依然是有效的技术手段。
研究还比较了两种训练路径：一是从零开始预训练（from scratch pre-training），二是在已有 ModernBERT 检查点基础上继续预训练。实验表明，从零预训练无法达到继续预训练现有检查点的性能水平，这提示在资源有限的情况下，基于强基座模型做领域继续预训练是更高效的选择。
在能力方面，所得模型能够处理最长 8,192 个 token 的序列，适合法律文书这类长文本场景；模型可以计算法律段落的语义嵌入（embeddings），也可用于针对给定搜索查询对数百个法律段落进行快速重排序（rerank），从而提升法律检索的效果。作者公开了所有模型检查点，便于社区复现与后续应用。
从时间线看，论文于 2026 年 6 月 26 日 18:44:11 UTC 提交至 arXiv（v1 版本，186 KB），并被归类为 cs.CL 下的新论文。整体而言，该工作为法律 NLP 提供了一个经过领域自适应、支持长上下文且可公开获取的 ModernBERT 模型系列，对法律检索、文书理解等下游任务具有直接价值。