字母詞形還原：用於逆轉中世紀文本字元集簡化和縮寫的一對一與帶狀RNN

中世紀的文獻抄寫員在抄寫時往往採用各自不同的習慣，加上各個機構的數字化政策也不盡相同，這使得語料庫中的字元集呈現出一種流動的狀態。為了靈活地在不同字元集之間進行轉換，研究人員提出了一種稱為“字母詞形還原”（Letter Lemmatization）的新方法。該方法的核心是使用字元級的一對一迴圈神經網路（RNN），透過自監督學習來逆轉字元對映。這種自監督學習方式不需要平行語料，而是利用字元對映本身的可逆性進行訓練。令人驚訝的是，即使只使用20行文本，模型也能恢復一半的字元錯誤率（CER），這顯示了其在小樣本情況下的強大能力。研究團隊進一步分析了這些一對一網路在手寫文本識別（HTR）後校正中的應用，發現它們在完全忽略插入和刪除操作的情況下，依然能夠取得顯著的改進，這表明網路主要關注字元的替換錯誤。隨後，他們採用了完全相同的網路結構，但結合從平行語料庫中編譯的字元級對齊真實資料，採用一種稱為“帶狀RNN”（Banded RNNs）的訓練和推理模式。帶狀RNN透過限制注意力範圍，能夠有效處理字元之間的對齊問題，從而成功用於擴充套件中世紀憲章轉錄中的縮寫。實驗結果表明，該方法在擴充套件縮寫方面取得了良好的效果。最後，研究團隊引入了一種精細的啟發式方法，該方法接受任意兩個字元集的字元，並定義了一個度量來封裝字元之間的語義相似度。這個度量考慮了字元的形狀、發音以及上下文等多種因素，從而能夠更準確地評估不同字元集之間的對應關係。他們將這種對映的構建稱為“字母詞形還原”，併發布了一個功能豐富的Python庫，高效實現了所有提出的方法。該庫包括訓練、推理、評估等全套工具，並提供了預訓練模型和示例資料，便於研究者快速上手。該研究已被2026年ICDAR研討會VINALDO接收。這項研究不僅為處理中世紀文本的字元集變化提供了實用工具，也為手寫文本識別後校正和縮寫擴充套件開闢了新途徑。同時，所提出的Python庫使得其他研究者能夠輕鬆應用這些技術，進一步推動相關領域的發展。此外，帶狀RNN的提出也展示了同一網路架構在不同任務中的靈活性，為未來研究提供了新的思路。研究人員相信，隨著更多平行語料庫的建立，該方法在處理更廣泛的文本變體方面將發揮更大作用。