OCRは歴史アーカイブのデジタル化に不可欠な技術だが、その品質評価は長らく文字誤り率（CER）などの集計指標に依存してきた。こうした指標は参照テキストとの文字レベルの差異を測るものの、人名や日付、識別子といった実質的に重要な情報が正しく残されているかどうかを必ずしも反映しない。この課題に対し、本論文はOCR誤りをエンティティ単位で分析することを、歴史文書のOCR品質評価を補完する視点として提案している。
研究チームは、Berruttiアーカイブ由来の175文書を含む公開ベンチマークを利用した。さらにエンティティ単位の評価を可能にするため、5,209件のエンティティ言及を人手で注釈付けし、採録後に公開する予定であるとしている。これにより、全体の文字起こし精度だけでなく、重要なエンティティがOCR出力内でどの程度保持され、また回復可能であるかを個別に検証できるようになる。
実験では、系列認識型のOCRシステム、OCRタスクに特化した視覚言語モデル、汎用の視覚言語モデルの3種類を比較した。評価は全体の文字起こし精度にとどまらず、文字レベルの編集許容度を複数設定し、小さな誤りを許した場合にエンティティを正しく取り戻せるかという回復可能性にも及ぶ。この設計により、エンティティ自体が根本的に誤認識された場合と、局所的な文字のずれにすぎず軽微な修正で回復できる場合とを区別できる。
結果として、OCRシステムの順位は評価基準によって変化することが示された。Qwen 3.6は、テストしたすべての許容度において最も高いエンティティカバレッジを達成した。一方、完全一致のカバレッジが低いいくつかのシステムは、小さな誤りを許容すると大きく回復した。これは、それらの誤りの多くがエンティティ転記の根本的な失敗ではなく、局所的な文字レベルの偏差であることを示唆する。逆に、匹配条件を緩和しても多くのエンティティを回復できないシステムもあり、その誤りがより深刻または体系的であることをうかがわせる。
著者らは、OCR品質は集計的な文字起こし指標だけでは十分に特徴づけられないと結論づけている。歴史アーカイブのデジタル化においては、OCR誤りが意味のある情報の保持と回復にどう影響するかを評価することが重要だという。本研究の貢献は、エンティティ注釈付きの評価資源を提供する点にとどまらず、OCRシステムの選択にあたって下流タスクが求めるエンティティ精度を考慮すべきだという実践的な示唆を与える点にある。論文は2026年10月7日に投稿され、計算と言語、人工知能、コンピュータビジョン、機械学習、画像・映像処理などの分野に関連する。