在人文领域的数字化项目中,历史文档档案往往规模庞大且内容异构,人工分类在大规模场景下几乎不可行。为此,一项发表在arXiv上的研究(arXiv:2606.07558v1)开发了一套自动图像分类系统,旨在根据扫描页面图像的视觉内容类型——文本、表格和图形——进行分类,从而支持后续的内容特定处理,例如光学字符识别(OCR)或结构化数据提取。
研究团队构建并评估了该系统,使用的数据集包含超过48,000张来自具有百年历史的捷克考古档案的标注页面图像。这些标注经过四个连续的标注阶段,并由领域专家进行审核,以确保质量。标签体系包含11个类别,是与领域专家协作设计的,并通过五折交叉验证进行评估。
在方法上,研究者首先使用手工设计的图像特征建立了随机森林分类器基线,其准确率约为75%。随后,他们微调并比较了多种深度学习架构:卷积神经网络(EfficientNetV2、RegNetY)、视觉与文档图像Transformer(ViT、DiT)以及多模态CLIP模型。
实验结果显示,微调后的CNN和Transformer显著优于基于特征的基线。RegNetY-16GF在留出测试集上达到了99.16%的Top-1准确率,ViT-large紧随其后,达到99.12%。CLIP ViT-B/16在优化文本描述后也达到了99.14%的准确率。
然而,在将模型应用于649,508页未标注的档案页面时,图像-only模型(如RegNetY-16GF)表现出高度一致性,模型间一致率超过90%。相比之下,微调后的CLIP模型尽管在测试集上准确率具有竞争力,但在未标注数据上与图像-only模型的一致率低于65%,这表明其在实际部署中可能不够可靠。
结论认为,图像-only模型,特别是RegNetY-16GF,能够提供近乎完美的分类准确率,并在大规模未标注数据上产生一致的标签。最终模型、标注数据集和软件均以开源许可证公开,便于社区使用和进一步研究。该工作展示了深度学习在历史文档自动化处理中的潜力,并为大规模数字化档案的内容分类提供了实用方案。