人文科学分野のデジタル化プロジェクトでは、歴史的文書のアーカイブが大規模かつ異種混合であるため、手作業による分類は現実的ではない。この課題に対処するため、arXivに掲載された研究(arXiv:2606.07558v1)は、スキャンされたページ画像を視覚的内容タイプ(テキスト、表、グラフィック)に基づいて自動分類するシステムを開発した。これにより、光学文字認識(OCR)や構造化データ抽出といったコンテンツ固有の後続処理が可能になる。
研究チームは、100年の歴史を持つチェコの考古学アーカイブから得られた48,000枚以上の注釈付き歴史的ページ画像を含むデータセットでシステムを構築・評価した。これらの注釈は4つの連続する注釈段階を経て領域専門家のレビューによって洗練された。ラベル体系は11カテゴリで、領域専門家と協力して設計され、5分割交差検証で評価された。
方法論として、まず手作り画像特徴量を用いたランダムフォレスト分類器のベースラインを確立し、約75%の精度を得た。次に、畳み込みニューラルネットワーク(EfficientNetV2、RegNetY)、視覚・文書画像Transformer(ViT、DiT)、マルチモーダルCLIPモデルなど、複数の深層学習アーキテクチャを微調整して比較した。
実験の結果、微調整されたCNNとTransformerは特徴量ベースのベースラインを大幅に上回った。RegNetY-16GFはホールドアウトテストセットで99.16%のTop-1精度を達成し、ViT-largeが99.12%で続いた。CLIP ViT-B/16はテキスト記述を最適化することで99.14%の精度に達した。
しかし、649,508ページの未注釈アーカイブページにモデルを適用すると、画像のみのモデル(RegNetY-16GFなど)は90%以上のモデル間一致率を示し、高い一貫性を見せた。対照的に、微調整されたCLIPモデルはテストセットでの精度は競争力があるものの、未注釈データでは画像のみのモデルとの一致率が65%未満であり、実際の展開には適さないことが示唆された。
結論として、画像のみのモデル、特にRegNetY-16GFは、ほぼ完璧な分類精度を提供し、大規模な未注釈データに対して一貫したラベルを生成する。最終モデル、注釈付きデータセット、ソフトウェアはオープンソースライセンスの下で公開されており、コミュニティによる利用とさらなる研究が可能である。この研究は、歴史的文書の自動処理における深層学習の可能性を示し、大規模デジタル化アーカイブの内容分類に対する実用的なソリューションを提供する。