跳到主要内容
AI News HubLIVE
站内改写1 分钟阅读

面向跨越百年档案扫描文档的页面图像分类器,用于后续内容特定处理

文章摘要

一项研究利用超过4.8万张来自百年捷克考古档案的标注页面图像,微调了CNN、ViT和CLIP等模型,实现对扫描页面按内容类型(文本、表格、图形)的自动分类。RegNetY-16GF在测试集上达到99.16%的Top-1准确率,并在64.9万页未标注数据上表现出超过90%的模型间一致性;而CLIP模型尽管测试集准确率接近,但在未标注数据上的模型间一致性低于65%,不适合部署。

来源arXiv Computer Vision作者: Kateryna Lutsai, Pavel Stra\v{n}\'ak, David Nov\'ak, Dana K\v{r}iv\'ankov\'a
面向跨越百年档案扫描文档的页面图像分类器,用于后续内容特定处理
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

在人文领域的数字化项目中,历史文档档案往往规模庞大且内容异构,人工分类在大规模场景下几乎不可行。为此,一项发表在arXiv上的研究(arXiv:2606.07558v1)开发了一套自动图像分类系统,旨在根据扫描页面图像的视觉内容类型——文本、表格和图形——进行分类,从而支持后续的内容特定处理,例如光学字符识别(OCR)或结构化数据提取。

研究团队构建并评估了该系统,使用的数据集包含超过48,000张来自具有百年历史的捷克考古档案的标注页面图像。这些标注经过四个连续的标注阶段,并由领域专家进行审核,以确保质量。标签体系包含11个类别,是与领域专家协作设计的,并通过五折交叉验证进行评估。

在方法上,研究者首先使用手工设计的图像特征建立了随机森林分类器基线,其准确率约为75%。随后,他们微调并比较了多种深度学习架构:卷积神经网络(EfficientNetV2、RegNetY)、视觉与文档图像Transformer(ViT、DiT)以及多模态CLIP模型。

实验结果显示,微调后的CNN和Transformer显著优于基于特征的基线。RegNetY-16GF在留出测试集上达到了99.16%的Top-1准确率,ViT-large紧随其后,达到99.12%。CLIP ViT-B/16在优化文本描述后也达到了99.14%的准确率。

然而,在将模型应用于649,508页未标注的档案页面时,图像-only模型(如RegNetY-16GF)表现出高度一致性,模型间一致率超过90%。相比之下,微调后的CLIP模型尽管在测试集上准确率具有竞争力,但在未标注数据上与图像-only模型的一致率低于65%,这表明其在实际部署中可能不够可靠。

结论认为,图像-only模型,特别是RegNetY-16GF,能够提供近乎完美的分类准确率,并在大规模未标注数据上产生一致的标签。最终模型、标注数据集和软件均以开源许可证公开,便于社区使用和进一步研究。该工作展示了深度学习在历史文档自动化处理中的潜力,并为大规模数字化档案的内容分类提供了实用方案。

展开要点与分析

文章情报

工程师进阶

要点

  • 数据集包含48,000多张经四轮专家标注的百年历史页面图像,设计了11类标签体系。
  • RegNetY-16GF和ViT-large分别达到99.16%和99.12%的Top-1准确率,远超随机森林基线的约75%。
  • 图像-only模型在649,508页未标注数据上模型间一致性超过90%,而微调CLIP的一致性低于65%。
  • 最终模型、标注数据集和软件均以开源许可证公开。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。