OCR技术是历史档案数字化的关键工具，但长期以来，评估OCR质量主要依赖字符错误率（CER）等聚合指标。这类指标衡量的是转录文本与参考文本在字符层面的整体差异，却未必能回答一个更贴近实际使用需求的问题：姓名、日期、编号等具有实际意义的信息是否被正确保留。围绕这一缺口，一篇新论文提出从实体层面分析OCR错误，作为历史文档OCR质量评估的补充视角。
研究团队使用了一个公开基准，其中包含来自Berrutti档案的175份文档。为支持实体级评估，他们在此基础上新增了5,209条人工标注的实体提及，并计划在论文录用后公开这批标注数据。这一资源使研究者不仅能统计整体转录准确率，还能逐项检查关键实体在OCR输出中的保留情况与可恢复性。
在实验设计上，作者比较了三类系统：传统的序列识别OCR系统、专门针对OCR任务优化的视觉语言模型，以及通用视觉语言模型。评估不局限于全局转录准确率，还引入了不同字符级编辑容差，用以观察当允许少量字符差异时，实体能否被正确找回。这种设置区分了两种性质不同的错误：一种是实体本身被彻底识别错误，另一种只是局部字符偏差，经过轻度纠错即可恢复。
实验结果显示，OCR系统的排名会随评估标准而变化。Qwen 3.6在所有测试容差下都取得了最高的实体覆盖率。与此同时，一些精确匹配覆盖率较低的系统在容忍小错误后表现明显回升，说明它们的许多错误属于局部字符层面的偏差，而非实体转录在根本上出错。相反，也有部分系统即使在放宽匹配条件后，仍无法恢复大量实体，表明其错误更为严重或系统性。
作者由此得出结论：OCR质量不能仅由聚合转录指标来完整刻画。对于历史档案数字化而言，评估重点应放在OCR错误如何影响有意义信息的保留与可恢复性上。这项工作的贡献不仅在于提供了一套带实体标注的评测资源，也在于提示研究者和实践者在选择OCR系统时，应结合具体下游任务对实体准确性的要求，而非只看单一的整体错误率。论文提交于2026年10月7日，涉及计算与语言、人工智能、计算机视觉、机器学习及图像与视频处理等多个方向。