塔吉克語和波斯語在歷史上同屬伊朗語支,但分別採用西里爾字母和阿拉伯字母書寫,這種指令碼差異給跨語言自然語言處理帶來了顯著挑戰。針對這一低資源場景下的實際需求,研究團隊推出了TajPersLexon——一個經過精心策劃的塔吉克-波斯語平行詞彙資源,共收錄40,112個詞彙和短句對齊對。該資源專門用於支援跨指令碼詞彙檢索、音譯和詞彙對齊等核心任務,旨在彌補該語言對在NLP基礎設施方面的空白,為後續研究奠定資料基礎。
為了全面評估不同技術路線在此任務上的表現,研究團隊設計了一套僅依賴CPU的計算基準測試,系統比較了三種方法族:輕量級混合管道、神經序列到序列模型以及基於檢索的方法。評估結果顯示,該任務在現有技術條件下基本可解:神經方法和檢索基線均達到了98-99%的Top-1準確率,展現出極高的匹配精度。然而,值得注意的是,當前流行的大型多語言句子轉換器在此精確詞彙匹配任務上表現欠佳,未能發揮其跨語言優勢。
在進一步的應用評估中,研究團隊提出的可解釋混合模型在一項OCR後校正任務中實現了96.4%的準確率,展示了良好的精度與效率權衡。該模型不僅具有可解釋性,便於研究人員理解和除錯,而且計算資源需求低,適合實際部署。所有實驗均採用固定隨機種子,確保了實驗結果的完全可重複性。
TajPersLexon的資料集、原始碼以及預訓練模型將在未來公開發布,預計將為塔吉克-波斯語相關NLP研究提供重要支撐。該研究成果已發表於SilkRoadNLP 2026研討會論文集,標誌著低資源語言處理領域的一項新進展。