本チュートリアルでは、Datalab が公開している文書パーサー向けのオープンベンチマークである OmniParseBench を実際に再構築し、監査します。このベンチマークは、スキャンされたフォームや手書き文字から arXiv の数式、密集した表までを含む 2,937 ページにわたる 16,288 個の小さな合否テストでパーサーの出力を採点します。私たちはリーダーボードをそのまま信じるのではなく、Datalab が 27 個のパーサーについて公開した判定結果からリーダーボードを一から再構築します。その前に、手作りしたページを採点器に与え、どの誤りが判定を反転させるのかを観察します。続いてランキングの確実性を測定し、文書タイプ別にスライスし、モデルカードでテスト構築に貢献したとされる 2 つのモデルが、モデル自身が修正したテストで異なる振る舞いをするかを検証し、さらに 50 ページのサンプルで Tesseract と Indra OCR を自分たちで実行します。その過程で、上位 2 つのパーサーは統計的に同着であること、大半のスライスで首位が入れ替わること、そして発表時の数値の一つが公開ファイルと一致しないことを発見します。
インストールでは、omni-parse-bench を 1.0.0rc1 に固定します。素の pip install では依然として API の異なる古い 0.2.0 が解決されるためです。benchmark extra はパーサーアダプタ、Hugging Face クライアント、manifest 用の pyarrow を導入し、Colab 上では apt 経由で Tesseract とそのスクリプトモデルを追加します。また、パーサーが追加されるにつれてリポジトリが変わるため、データセットを 1 つのコミットに固定します。テストファミリーを表示すると、ベンチマークの構造が見えます。present、order、repeat がテキストファミリーを形成し、table_cell がテーブルファミリー、layout_kind がレイアウトファミリーを形成します。
スコアを信頼する前に、判定の意味を確認します。架空のページに対して 13 個のテストを含む gold ファイルを手作業で作成し、ベンチマーク自身が使う unit_tests.score で予測を採点します。基本の予測はすべて合格し、各バリアントは 1 か所だけ変更します。1 文字のタイポ、失われたマイナス記号、数式中の異なる記号、入れ替わった見出し、誤ってラベル付けされたブロックはそれぞれちょうど 1 つのテストを失敗に反転させ、理由が付されます。コントロールは引き続き合格します。大文字化、千区切りの欠落、frac の代わりに dfrac を使う場合です。テキストは折り畳まれ、数式は KaTeX でレンダリングされた後に比較されるためです。
データセットには 16,288 個のテストが含まれます。snapshot_download で manifest.parquet、gold ディレクトリ、results.parquet、README のみを取得し、data.read_manifest でページと gold テストを読み込み、ページごとにテストファミリーとテストタイプの件数を集計して、リーダーボードの数値をその実際の構造の中に位置づけます。この作業により、公開された主張とリリースされたファイルの記録が一致するかを照合でき、そのうち 1 つの数値が合わないことが判明します。ランキングの確実性については、文書レベルでブートストラップ再サンプリングを行い、各パーサーの順位の信頼区間を算出します。その結果、上位 2 つは統計的に区別できないことが示されます。文書タイプ別にスライスすると、大半のスライスで首位が総合順位と異なり、単一の総合スコアでは文書ごとの得意不得意が隠れてしまうことが分かります。