自然言語処理（NLP）において、トークナイゼーションは言語モデルの基盤をなすステップであり、その品質は後続タスクの性能に直接影響を与える。しかし、既存のトークナイザ評価指標の多くは英語などの分析型言語を対象に設計されており、膠着型言語（agglutinative languages）への適用には根本的な問題がある。膠着型言語は接辞を積み重ねて複雑な文法関係を表現するため、正しい形態的境界の特定が極めて重要である。最近、マリア・コントレラス（Maria Contreras）率いる研究チームがarXivに投稿した論文「QuechuaTok: Morphological Boundary Accuracy as a Necessary Metric for Tokenizer Evaluation in Agglutinative Low-Resource Languages」では、この問題を体系的に検討し、膠着型低リソース言語に特化したベンチマークQuechuaTokを提案している。
研究の対象は南部ケチュア語（Southern Quechua、言語コードquz）で、南米で800万から1000万人が話す低リソースの膠着型言語である。チームは20万文からなるコーパスを構築し、SQUOIA有限状態形態解析器（Rios, 2016）をシルバースタンダードとして使用した。比較対象は、BPE（Byte-Pair Encoding）、Unigram LM、WordPiece、および形態認識型PRPEトークナイザの4戦略である。評価指標として、従来の肥沃度（fertility rate、単語あたりの平均サブワード数）、OOV率（語彙外単語率）に加え、新たに形態的境界精度（MorphAcc）を導入した。
実験結果は顕著である。BPEは16k語彙で最低の肥沃度（1.636）を達成したが、そのMorphAccはわずか6.67%であり、形態的境界の把握に完全に失敗していることが判明した。BPEは主に表面語形を記憶することで低肥沃度を実現していた。一方、PRPEトークナイザのMorphAccは83.33%と全システム中最高であり、肥沃度が高いにもかかわらず（具体的数値は要約にない）、形態的正確性では圧倒的に優れていた。この結果は、膠着型言語において肥沃度のみに依存した評価が誤ったモデル選択につながることを明確に示している。
本研究の主な貢献は、膠着型言語のトークナイザ評価に形態的境界精度を必須指標として導入すべきだと提唱した点にある。研究者らは、低リソース膠着言語向けNLPツールチェーンの開発において、MorphAccを重要な評価軸として考慮するよう推奨している。さらに、すべてのコードとモデルはKaggle（kaggle.com/code/macmaky/quechuatok）で公開されており、再現性が確保されている。今後の展開として、他の膠着型言語への適用や、形態情報をより効率的に組み込んだトークナイザの開発が期待される。この研究成果は、低リソース言語のNLP応用を促進するだけでなく、言語技術評価基準の改善にも重要な示唆を与えるものである。