国際法は、国家間の行動調整、武力紛争の規律、人権保護を支える規範的枠組みを提供しているが、そのテキストにはトークンレベルの固有表現認識（NER）資源が存在しなかった。この空白に対処するため、Genis Skura氏、Roland Bouffanais氏、Didier Wernli氏は、国際法の成文資料を対象とするNERデータセット兼ベンチマーク「IntLawNER」を提案した。論文は2026年9月18日にarXivへ投稿され、arXiv:2609.22529としてcs.AIおよびcs.IRに分類されている。
IntLawNERのデータは、国際司法裁判所（ICJ）の判決、国連安全保障理事会の決議、欧州人権裁判所（ECtHR）の判決という、国際法を代表する三種類のテキストから構成される。収録規模は2,987文の金注釈文と8,094のエンティティスパンで、機関の機能に即した7種類のエンティティ型が付与されている。著者らは、この資源が国際法テキストにおける参照抽出や再利用可能な研究基盤を支えると説明する。
注釈コストを抑えるため、研究チームはアルゴリズムとエージェントを組み合わせたハイブリッドパイプラインを構築した。約46.8万文のソース文から候補を検索し、大規模言語モデルによる審査を行い、最後に人手で確認する。この工程により元コーパスはコンパクトな注釈集合へと圧縮され、金スパンの89.6%は銀ラベル層から変更なしで受け入れられた。
論文はさらに、銀ラベルから金ラベルへの移行を分析し、領域固有のNERでは人と機械の集約一致指標が誤解を招きうると指摘する。境界が一致するスパンだけを見るとCohen's kappaは0.964に達するが、欠落エンティティ、境界誤り、ラベル修正を含めるとmacro-F1は0.753まで下がる。この差は、一致率だけでは注釈やモデルの実質的な品質を過大評価しかねないことを示している。
ベンチマーク結果は既存手法の弱点も明らかにした。ゼロショットのスパンベースGLiNERは、表層形ではなく機関の機能に依存するエンティティ型で性能が急落し、micro-F1は0.243にとどまった。微調整済みTransformerモデルも稀なラベルで苦戦した。一方、ラベルの対比を示すよう注意深く選んだ少数ショット例を用いると、すべてのLLMがゼロショットを上回り、Claude Opus 4.6がmicro-F1 0.873で最高スコアを記録した。
著者らはIntLawNERを、国際法テキスト中の参照抽出に向けたベンチマーク兼再利用可能な資源として公開している。論文にはデータやコードへのリンクも含まれ、コミュニティによる再現と拡張が可能だ。総じて本研究は、国際法分野にトークンレベルNER資源が欠けていた空白を埋めると同時に、領域固有の注釈タスクでは一致指標を慎重に読む必要があることを示している。