DocOCR-Eval: 教師データなしでOCRツールを選択するための補正ベースフレームワーク
本論文では、手動アノテーションなしでOCRツールの評価と選択を自動化するフレームワークDocOCR-Evalを提案する。3段階の補正とランキング戦略により、正解ラベルなしでアノテーションベースのツール順序を近似する。実験では、複数のMLLMを集約することで人間によるランキングとの整合性が向上し、ラベルが限られた状況でも信頼性の高いツール選択が可能になることを示している。
文書解析は、視覚的な質問応答やキー情報抽出などの文書理解タスクの基礎となるステップであり、スキャンされた非構造化画像からテキスト、ビジュアル、レイアウト情報を抽出して構造化表現を生成します。この目的のために多くの光学文字認識（OCR）エンジンやマルチモーダル大規模言語モデル（MLLM）が開発されていますが、特にラベルが不足している状況では、所与の文書コレクションに適した文書解析ソリューションを選択することは依然として困難です。
本研究では、多様なOCRエンジンと最先端のMLLMについて、さまざまなドメインと言語にわたる複数のスキャン文書ベンチマークを用いて、テキスト認識性能の体系的な評価を実施しました。これらのベンチマークは、異なる文書タイプや言語をカバーしており、各ツールの実際の能力を包括的に測定することを目的としています。多くのOCRエンジンの文脈推論能力の限界と手動アノテーションの高コストに動機づけられ、自動評価と選択のためのアノテーションフリーフレームワークDocOCR-Evalを提案します。
DocOCR-Evalの核は、3段階の補正とランキング戦略です。まず、フレームワークは複数のMLLMを使用してOCR出力を初期補正します。次に、補正された結果に基づいて一貫性評価を行います。最後に、複数のモデルの出力をランキングアルゴリズムで集約し、手動アノテーションベースのランキングを近似します。このアプローチは、正解ラベルを必要とせず、モデル間の相互検証に依存しています。
実験では、さまざまなOCRエンジンとMLLMの性能を体系的に比較しました。結果、複数のMLLMを集約することで、手動アノテーションベースのランキングとの整合性が段階的に向上し、その向上はモデル数が増えるほど顕著になることが示されました。さらに、現実的なラベル制限のある設定でも、信頼性の高いOCRツール選択が可能であることを実証し、多様な実世界文書コレクションに文書解析システムを展開するための実用的なガイダンスを提供しています。
この研究は、アノテーション不足の状況でのOCRツールの評価と選択に新しいアプローチをもたらし、文書処理システムの導入コストを大幅に削減し、よりインテリジェントな文書理解システムの発展を促進することが期待されます。論文はZihan Xuら6人の著者によって執筆され、2026年5月5日にarXivに提出されました（進行中の研究）。