跳到主要內容
AI News HubLIVE
站內改寫2 分鐘閱讀

攀登階梯:在低資源環境下自動化資料管線並復現基線

文章摘要

該論文針對低資源語言西西里語的機器翻譯,重建了基於雙語期刊《Arba Sicula》PDF的平行語料提取流程,並將其移植到無Perl的現代實現中。研究比較了從零訓練的小型Transformer與經低秩微調的預訓練NLLB模型,發現預訓練模型明顯更優,分階段訓練對譯入西西里語的提升大於譯出;但多語介面卡會損害未訓練方向的表現。

來源arXiv Computational Linguistics作者: Donato Meoli, Eryk Wdowiak
攀登階梯:在低資源環境下自動化資料管線並復現基線
回報錯誤

更正管道尚未開通,可先複製下方文章資訊留存。

查看更正說明
直接讀正文

大規模多語翻譯系統如今已經覆蓋西西里語,但其訓練資料來自噪聲大、缺乏規範的網路文本。為提升翻譯質量,Meoli與Wdowiak在這篇論文中重新開發了Wdowiak此前為西西里語定製的小型神經機器翻譯(NMT)系統,目標是在低資源條件下把整條資料管線自動化,並復現可供比較的基線。

研究的第一步是重建平行語料。作者從雙語期刊《Arba Sicula》的PDF中抽取對齊文本,並把這一流程遷移到仍在維護的軟體上。句子對齊使用與語言無關的句編碼器,其閾值以已有的人工對齊結果為參照進行調整,隨後再過濾掉自動對齊中常見的典型錯誤。這樣得到的語料既保留了期刊的文學性文本,又降低了自動流程引入的噪聲。

第二步是文本處理。原始系統中的分詞以及偏向詞尾變化(desinence)的子詞切分被移植到一個不含Perl的實現中,使整個流程更易維護和復現。所有結果都在一個從該期刊抽取的凍結測試集上評估,以保證不同方案之間具有可比性。

在建模方面,作者比較了兩類方案:一是從零開始訓練的小型Transformer,二是透過低秩微調適配的預訓練NLLB模型。實驗覆蓋兩個翻譯方向,並引入近親語言義大利語作為橋接語言。此外,作者還把原系統的反向訓練配方移植到預訓練模型上,即先在網路西西里語的正向打分回譯資料上訓練一個階段,再在整理過的文學文本上訓練一個階段。

結果顯示,預訓練模型在兩個方案中明顯佔優。分階段訓練對譯入西西里語的改善大於譯出西西里語。在原系統的測試集上、且在其評分所用的分詞空間中,使用更大介面卡和更多回譯資料的分階段模型在涉及英語的方向上優於原反向訓練配方,而在西西里語與義大利語之間則低於該配方。

作者還指出一個限制:多語介面卡會損害其未接受訓練的方向,因此難以直接作為通用多語模型使用。這也提示低資源語言適配需要在專門化效能與通用性之間做出權衡。該論文共17頁,含6張表,屬於計算與語言(cs.CL)方向,ACM分類為I.2.7,於2026年10月21日提交至arXiv。

展開要點與分析

文章情報

工程師進階

要點

  • 以語言無關的句編碼器對齊雙語期刊句子,並用人工對齊結果調閾值、過濾自動對齊常見錯誤
  • 將分詞和偏向詞尾變化的子詞切分移植為不依賴Perl的實現,並在期刊抽取的凍結測試集上評估
  • 預訓練NLLB遠優於從零訓練的小型Transformer,分階段訓練對譯入西西里語幫助更大
  • 多語介面卡會降低未訓練方向的質量,限制其作為通用多語模型的用途

要點與分析由自動化流程生成,可能有誤,請結合原始來源核實。