中世の文書写字生は非常に異なる慣行を持っており、さらに異種のデジタル化ポリシーにより、コーパス内の文字セットは流動的に見なされなければならない。この問題に柔軟に対処するため、本研究では「文字の見出し語化」(Letter Lemmatization)と呼ばれる新しい手法を提案する。この手法の核心は、文字レベルの一対一RNNを自己教師あり学習で訓練し、文字マッピングを逆転させることである。驚くべきことに、わずか20行のテキストでも文字誤り率(CER)の半分を回復できることが示された。研究チームはさらに、これらの一対一ネットワークを手書き文字認識(HTR)の後処理補正に適用し、挿入・削除を完全に無視しながらも大幅な改善を得られることを確認した。これは、ネットワークが主に置換誤りに焦点を当てていることを示している。次に、まったく同じネットワークを、並列コーパスから作成した文字レベルのアライメント正解データとともに、「バンド付きRNN」(Banded RNNs)と呼ぶ訓練・推論モードで使用する。バンド付きRNNは注意範囲を制限することで文字間のアライメント問題を効果的に処理し、中世憲章の転写における略語展開に成功した。実験結果は、この手法が略語展開において良好な性能を示すことを実証している。最後に、任意の2つの文字セットの文字を取り、文字間の意味的類似性をカプセル化する指標を定義する精巧なヒューリスティック手法を導入する。この指標は、文字の形状、発音、文脈などの複数の要素を考慮し、異なる文字セット間の対応関係をより正確に評価する。このようなマッピングの構築を「文字の見出し語化」と呼び、提示されたすべての手法を効率的に実行する豊富なPythonライブラリを提供する。このライブラリには、訓練、推論、評価のためのツール一式が含まれており、事前学習済みモデルとサンプルデータも提供されているため、研究者はすぐに使い始めることができる。本論文は、ICDAR 2026ワークショップ「VINALDO」に採択された。この研究は、中世テキストの文字セット変動を扱うための実用的なツールを提供するだけでなく、手書き文字認識の後処理補正や略語展開に新たな道を開くものである。また、提供されるPythonライブラリにより、他の研究者がこれらの技術を容易に適用できるようになり、関連分野の発展に貢献する。さらに、バンド付きRNNの提案は、同一のネットワークアーキテクチャが異なるタスクで柔軟に利用できることを示しており、今後の研究に新たな視点を提供する。研究者らは、より多くの並列コーパスが構築されるにつれて、本手法がより広範なテキスト変種の処理において重要な役割を果たすと期待している。
文字の見出し語化:中世テキストの文字セット簡略化と略語の逆変換のための一対一およびバンド付きRNN
記事の要約
本論文では、自己教師あり学習を用いた一対一RNNによる文字セット簡略化の逆変換を提案し、わずか20行のテキストで文字誤り率の半分を回復。同じネットワークをバンド付きRNNとして使用し、中世憲章の略語展開に成功。さらに、任意の文字セット間の意味的類似度を計るヒューリスティック手法を導入し、Pythonライブラリを提供する。
ソースarXiv Computational Linguistics著者: Anguelos Nicolaou, Maria Pia Tiseo, Tamas Kovacs, Nicolas Renet, Georg Vogeler
文字の見出し語化:中世テキストの文字セット簡略化と略語の逆変換のための一対一およびバンド付きRNN