字母詞形還原：用於逆轉中世紀文本字符集簡化和縮寫的一對一與帶狀RNN

中世紀的文獻抄寫員在抄寫時往往採用各自不同的習慣，加上各個機構的數字化政策也不盡相同，這使得語料庫中的字符集呈現出一種流動的狀態。為了靈活地在不同字符集之間進行轉換，研究人員提出了一種稱為“字母詞形還原”（Letter Lemmatization）的新方法。該方法的核心是使用字符級的一對一循環神經網絡（RNN），通過自監督學習來逆轉字符映射。這種自監督學習方式不需要平行語料，而是利用字符映射本身的可逆性進行訓練。令人驚訝的是，即使只使用20行文本，模型也能恢復一半的字符錯誤率（CER），這顯示了其在小樣本情況下的強大能力。研究團隊進一步分析了這些一對一網絡在手寫文本識別（HTR）後校正中的應用，發現它們在完全忽略插入和刪除操作的情況下，依然能夠取得顯著的改進，這表明網絡主要關注字符的替換錯誤。隨後，他們採用了完全相同的網絡結構，但結合從平行語料庫中編譯的字符級對齊真實數據，採用一種稱為“帶狀RNN”（Banded RNNs）的訓練和推理模式。帶狀RNN通過限制注意力範圍，能夠有效處理字符之間的對齊問題，從而成功用於擴展中世紀憲章轉錄中的縮寫。實驗結果表明，該方法在擴展縮寫方面取得了良好的效果。最後，研究團隊引入了一種精細的啓發式方法，該方法接受任意兩個字符集的字符，並定義了一個度量來封裝字符之間的語義相似度。這個度量考慮了字符的形狀、發音以及上下文等多種因素，從而能夠更準確地評估不同字符集之間的對應關係。他們將這種映射的構建稱為“字母詞形還原”，併發布了一個功能豐富的Python庫，高效實現了所有提出的方法。該庫包括訓練、推理、評估等全套工具，並提供了預訓練模型和示例數據，便於研究者快速上手。該研究已被2026年ICDAR研討會VINALDO接收。這項研究不僅為處理中世紀文本的字符集變化提供了實用工具，也為手寫文本識別後校正和縮寫擴展開闢了新途徑。同時，所提出的Python庫使得其他研究者能夠輕鬆應用這些技術，進一步推動相關領域的發展。此外，帶狀RNN的提出也展示了同一網絡架構在不同任務中的靈活性，為未來研究提供了新的思路。研究人員相信，隨着更多平行語料庫的建立，該方法在處理更廣泛的文本變體方面將發揮更大作用。