論文「現代BERTモデルの法的ドメイン適応」（arXiv:2606.28538）は、最新のBERT系モデルを法律専門領域に適応させる手法を詳細に検討している。研究チームはマスク言語モデリング目的関数を用いて、全米の裁判所意見書すべてを対象にModernBERTの追加事前学習を行った。ModernBERTは元のBERTと比較して約500倍のデータで学習されているにもかかわらず、法的領域での追加事前学習とドメイン適応によって依然として大幅な性能向上が得られることを実験で示した。
米国裁判所意見書に関連するすべてのデータセットにおいて、適応後のモデルは未変更のModernBERTと比較して有意な改善を報告している。研究者らは、この向上幅が初期のBERT系モデルにおけるドメイン適応研究で報告されたものと同程度であると指摘する。これは、基盤モデルの規模とデータ量が大幅に増加しても、ドメイン特化の事前学習が依然として重要であることを示している。
訓練戦略に関する重要な発見は、ゼロからの事前学習では既存のModernBERTチェックポイント上での追加事前学習の性能に及ばないという点である。このことは、法的領域の応用において、強力な汎用モデルの上に追加事前学習を行うことが、専用モデルをゼロから構築するよりも効率的かつ効果的なアプローチであることを意味する。
得られたモデルは最大8,192トークンの系列を処理でき、この長文コンテキスト能力は法的文書がしばしば長いため特に重要である。モデルは法的段落の意味埋め込みの計算や、与えられた検索クエリに対して数百の法的段落を迅速に再ランク付けするために使用でき、法的検索システムの精度と効率を向上させる可能性がある。
研究で得られたすべてのモデルチェックポイントは公開されており、研究コミュニティや開発者が直接利用したり、さらに微調整したりすることが可能である。本論文は第21回国際人工知能と法会議（ICAIL 2026、2026年6月9日～12日、シンガポール）に採択されている。この研究は、法的領域の自然言語処理に実用的な事前学習モデルと再現可能なドメイン適応手法を提供するものである。