タジク語とペルシャ語は歴史的に密接な関係にあるが、異なる文字体系（タジク語はキリル文字、ペルシャ語はアラビア文字）を使用するため、クロスランゲージ自然言語処理には大きな課題がある。この問題に対処するため、研究チームはTajPersLexon——低リソース環境でのクロススクリプト語彙検索、翻字、アライメント向けに厳選された40,112の単語および短句ペアからなるタジク・ペルシャ並列語彙リソース——を開発した。このリソースは、当該言語ペアにおけるNLPリソースのギャップを埋め、今後の研究の基盤を提供することを目的としている。
様々な手法の有効性を評価するため、研究チームはCPUのみを使用した包括的なベンチマークを設計し、軽量ハイブリッドパイプライン、ニューラル系列変換モデル、検索手法の3つの方法族を比較した。実験結果は、このタスクが本質的に解決可能であり、ニューラルおよび検索ベースラインが98-99%のトップ1精度を達成することを示している。しかし、大規模多言語文変換器はこの正確な語彙マッチングタスクでは期待された性能を発揮できず、失敗に終わった。
対照的に、提案された解釈可能なハイブリッドモデルは、OCR後補正タスクで96.4%の精度を達成し、精度と効率の有利なトレードオフを提供する。このモデルは性能が優れているだけでなく、理解と展開が容易であり、実用的な応用に特に適している。すべての実験は固定乱数シードを使用し、完全な再現性を確保している。
TajPersLexonのデータセット、コード、モデルは将来公開される予定であり、タジク・ペルシャ語NLP研究コミュニティに貴重なツールを提供する。本研究成果は、SilkRoadNLP 2026ワークショップのプロシーディングスに掲載され、低リソース言語処理の最新の進歩を示している。