本文にスキップ
AI News HubLIVE
サイト内リライト2 分で読了

世紀を超えるスキャン文書アーカイブで微調整されたページ画像分類器:コンテンツ固有の後続処理に向けて

記事の要約

本研究では、100年前のチェコ考古学アーカイブから得られた48,000枚以上の注釈付きページ画像を用いて、CNN、ViT、CLIPなどのモデルを微調整し、スキャンページを視覚的内容タイプ(テキスト、表、グラフィック)に分類するシステムを開発した。RegNetY-16GFはテストセットで99.16%のTop-1精度を達成し、649,508ページの未注釈データに対して90%以上のモデル間一致率を示した。一方、微調整されたCLIPはテスト精度は競争力があるものの、未注釈データでの一致率が65%未満であり、展開には適さないと結論付けられた。

ソースarXiv Computer Vision著者: Kateryna Lutsai, Pavel Stra\v{n}\'ak, David Nov\'ak, Dana K\v{r}iv\'ankov\'a
世紀を超えるスキャン文書アーカイブで微調整されたページ画像分類器:コンテンツ固有の後続処理に向けて
誤りを報告

訂正窓口はまだ利用できません。記事情報をコピーして保存できます。

訂正案内
本文へ

人文科学分野のデジタル化プロジェクトでは、歴史的文書のアーカイブが大規模かつ異種混合であるため、手作業による分類は現実的ではない。この課題に対処するため、arXivに掲載された研究(arXiv:2606.07558v1)は、スキャンされたページ画像を視覚的内容タイプ(テキスト、表、グラフィック)に基づいて自動分類するシステムを開発した。これにより、光学文字認識(OCR)や構造化データ抽出といったコンテンツ固有の後続処理が可能になる。

研究チームは、100年の歴史を持つチェコの考古学アーカイブから得られた48,000枚以上の注釈付き歴史的ページ画像を含むデータセットでシステムを構築・評価した。これらの注釈は4つの連続する注釈段階を経て領域専門家のレビューによって洗練された。ラベル体系は11カテゴリで、領域専門家と協力して設計され、5分割交差検証で評価された。

方法論として、まず手作り画像特徴量を用いたランダムフォレスト分類器のベースラインを確立し、約75%の精度を得た。次に、畳み込みニューラルネットワーク(EfficientNetV2、RegNetY)、視覚・文書画像Transformer(ViT、DiT)、マルチモーダルCLIPモデルなど、複数の深層学習アーキテクチャを微調整して比較した。

実験の結果、微調整されたCNNとTransformerは特徴量ベースのベースラインを大幅に上回った。RegNetY-16GFはホールドアウトテストセットで99.16%のTop-1精度を達成し、ViT-largeが99.12%で続いた。CLIP ViT-B/16はテキスト記述を最適化することで99.14%の精度に達した。

しかし、649,508ページの未注釈アーカイブページにモデルを適用すると、画像のみのモデル(RegNetY-16GFなど)は90%以上のモデル間一致率を示し、高い一貫性を見せた。対照的に、微調整されたCLIPモデルはテストセットでの精度は競争力があるものの、未注釈データでは画像のみのモデルとの一致率が65%未満であり、実際の展開には適さないことが示唆された。

結論として、画像のみのモデル、特にRegNetY-16GFは、ほぼ完璧な分類精度を提供し、大規模な未注釈データに対して一貫したラベルを生成する。最終モデル、注釈付きデータセット、ソフトウェアはオープンソースライセンスの下で公開されており、コミュニティによる利用とさらなる研究が可能である。この研究は、歴史的文書の自動処理における深層学習の可能性を示し、大規模デジタル化アーカイブの内容分類に対する実用的なソリューションを提供する。

要点と分析を開く

記事インテリジェンス

エンジニア上級

要点

  • 48,000枚以上の歴史的ページ画像を含むデータセットを4段階の専門家レビューで精製し、11カテゴリのラベル体系を設計。
  • RegNetY-16GFとViT-largeがそれぞれ99.16%と99.12%のTop-1精度を達成し、ランダムフォレストベースラインの約75%を大幅に上回った。
  • 画像のみのモデルは649,508ページの未注釈データで90%以上のモデル間一致率を示したが、微調整CLIPは65%未満であった。
  • 最終モデル、注釈付きデータセット、ソフトウェアはオープンソースライセンスの下で公開されている。

要点と分析は自動生成され、誤りを含む場合があります。原典をご確認ください。