物体検出（OD）は、ドキュメント変換の分野で長年にわたり静かな主力として機能してきました。視覚言語モデル（VLM）が登場するずっと前から、ドキュメントパイプラインはODに依存してページを意味のある領域（段落、表、画像、フォーム）に分割していました。この分割により、OCR、構造抽出、ダウンストリーム推論が可能になりました。
今日では、ページを要約したり複雑な表をエンドツーエンドで抽出できる強力なVLMが存在しますが、ODは依然として重要な役割を果たしています。純粋なVLMアプローチは、正確な読み取り順序や、特にセル結合やマルチカラムレイアウトを持つ複雑な表の構造を確実に保持することに苦戦する場合があります。
Unstructuredの高忠実度変換ワークフロー（HFTW = OD + VLM）は、最初にモデルをレイアウトに基づかせることでこの問題に対処します。具体的には、領域を明示的に検出し（表、ヘッダー、数式画像、ブロック）、タイプごとに要素を抽出し、各領域をタスク固有のプロンプトを持つ専門モデルにルーティングします。このタイプ認識ルーティングにより、精度が向上し、領域間の漏洩が減少し、パイプラインの安定性が維持されます。
ただし、純粋なVLMパーティショナーが特定のシナリオでUnstructured HFTWを上回ることもあります。フォームはその良い例です。ページ全体が意味的に凝集しており、通常は全体として処理される場合、全ページVLMパスは、事前定義された領域に制約されずにフィールド間の関係をよりよく捉えることができます。よりシンプルまたは均一なレイアウトでは、エンドツーエンドのVLM推論はより柔軟で保守が容易です。
この記事では、ODが依然としてドキュメント変換の品質を定義する理由、独自のODモデルをファインチューニングすることが見かけよりもはるかに難しい理由、ほとんどのチームがODモデルを所有することを避けるべき理由、そして当社のHFTWが継続的なOD改善からどのように恩恵を受けるかについて説明します。
ダウンストリームにおけるOD品質の重要性
現代のドキュメントパイプラインは、「VLM入力、JSON出力」だけではありません。高品質な変換は適切な範囲設定から始まります。HFTWでは、ODが基盤です。バウンディングボックスが密接で正確であれば、VLMはクリーンな入力で動作します。ODが劣化すると、VLMは過大または切り詰められた入力を受け取り、プロンプトは脆弱で過度にエンジニアリングされたものになり、パイプラインはセグメンテーションエラーを補償するために複雑化します。その時点で、エンジニアリングの努力は品質向上から損害制御に移行します。OD精度のすべての向上は、測定可能なパフォーマンス改善に直接変換されます。
クイック結果スナップショット
検出品質とダウンストリーム抽出精度の両方で明確な進歩が見られました。
- YOLOXからIBM Heronへ：要素アライメントで+7ポイント、表検出F1で+3ポイント改善。誤分類と見逃しボックスを減少させ、測定可能なダウンストリーム精度向上をもたらしました。
- IBM HeronからファインチューニングされたHeron（Unstructured最新版）へ：検出再現率+2.9ポイント、検出F1+2.3ポイント、読み取り順序精度+1.4ポイント、修正済み表TEDS+1.5ポイント、コンテンツ精度（CCT）+0.2ポイント。よりタイトな境界、マージ要素の減少、小さなオブジェクトの再現率向上、構造化抽出品質のさらなる向上を実現しました。
全体として、ODは多くのチームが認識している以上に重要です。これらの改善は漸進的な調整から生まれたのではなく、ODファインチューニングへのアプローチ全体を再考する必要がありました。以下では、Heronが次世代ODファインチューニングの基盤として選ばれた理由と、ODモデルのファインチューニングに伴う課題について説明します。
ゼロからではなくHeronからスタート
私たちはゼロから始めたわけではありません。初期の頃、オープンソースのドキュメント物体検出モデルがニーズを満たさなかったため、独自のYOLOベースODモデルをゼロから構築しました。そのモデルは信頼性が高く、幅広いドキュメントタイプをサポートしました。長い間、それがドキュメント変換パイプラインのバックボーンでした。
しかし、ドキュメントがより複雑になるにつれて（より密度の高いレイアウト、よりリッチなセマンティクス、より高い精度要件）、その限界が明らかになりました。より強力なレイアウト理解とブロックレベルのセマンティック認識が必要でした。
そこでIBMのHeronドキュメント物体検出モデルが登場しました。Heronはトランスフォーマーベースのモデル（RT-DETRv2）で、リアルタイムパフォーマンス向けに最適化され、特にドキュメント理解のためにトレーニングされています。そのトランスフォーマーアーキテクチャにより、より強力なグローバルコンテキストモデリングが可能になり、ページ全体のブロック間の関係、レイアウト依存関係、階層構造を推論しながら、プロダクショングレードの速度を維持します。これにより、Heronは当社にとって強力な選択肢となりました。私たちはその強みの上に構築し、レイアウトインテリジェンスを向上させました。同時に、Heronは精度のハードルを引き上げました。
HFTWにとって、「良い」だけでは十分ではありませんでした。このワークフローは、クリーンなクロッピングと信頼性の高いダウンストリーム処理を保証するために、極めて正確で一貫性のあるバウンディングボックスに依存しています。わずかな不整合でも、後で測定可能な品質低下につながる可能性があります。
そのため、新しいモデルをゼロからトレーニングする代わりに、強力な基盤の上でファインチューニングに焦点を当て、より厳しい精度と一貫性要件を満たすためにHeronをさらに押し進めました。
そして、そこで本当の課題が始まりました。
現実確認：ODファインチューニングはプラグアンドプレイではない
物体検出のファインチューニングは、しばしば日常的な作業として説明されます。データを追加し、いくつかのハイパーパラメータを調整し、トレーニングするだけです。この説明は危険なほど誤解を招きます。
最近の作業で、ODモデルを所有することに対する考え方を変える2つの基本的な課題が明らかになりました。
1. トレーニングフレームワークのバグ
私たちはHugging FaceのRT-DETRv2トレーニングパイプラインを使用してファインチューニングを行い、持続的な不安定性に直面しました。学習率スイープ、オプティマイザとスケジューラの変更、バックボーンとヘッドのフリーズとアンフリーズなど、考えられるすべてのアプローチを試しましたが、何も効果がありませんでした。
根本原因はデータや方法論ではなく、トレーニングフレームワーク自体のバグでした。損失は収束しているように見えましたが、予測確率は一貫して0.2未満でした。私たちは1週間かけてあらゆる方向でトラブルシューティングを行い、かなりの時間と計算リソースを費やしました。最終的にRT-DETRの公式実装に切り替えたところ、問題は即座に解決しました。
ODモデルのファインチューニングには、MLの専門知識だけでなく、トレーニングフレームワークとライブラリの動作に対する深い理解が必要です。成熟した広く採用されているツールであっても、大規模でのみ顕在化するコストのかかる障害モードが隠れている可能性があります。
2. データセット間のラベルの不一致
より深い課題はデータの調整でした。Heronと当社の内部データセットは、異なるアノテーション哲学に基づいて構築されていました。Heronはより大きなバウンディングボックスを好み、多くの場合、段落全体やセクションをカバーします。一方、当社のダウンストリームパイプラインは、構造化抽出タスクに合わせた、よりタイトで粒度の細かいブロックを必要とします。どちらのアプローチも独立して機能します。私たちは引き続きHeronをOD推論に使用していますが、これらのデータセットを組み合わせてファインチューニングすると、トレーニングの不安定性が生じました。
2.1 バウンディングボックスのセマンティクスと過学習
2つのデータセットは、ラベル定義とボックス粒度の両方で異なります。調整せずにファインチューニングすると、モデルは「正しい」バウンディングボックスの一貫した定義を学習するのに苦労しました。トレーニングエポックが増えるにつれて、この不整合は過学習行動につながり、モデルは粗い空間事前分布と細かい空間事前分布の間で振動し、汎化性能を低下させました。
この問題に対処するために、エージェントベースのラベル調和アプローチを設計しました。データセット間のバウンディングボックス粒度を正規化し、Heronと内部アノテーション間のラベルセマンティクスを調整し、トレーニング前に一貫した空間定義を強制します。この前処理ステップは学習を安定させるために不可欠でした。
2.2 破滅的忘却とデータ不均衡
ファインチューニング中に現れた2番目の問題は、破滅的忘却です。内部データセットは分布が異なり、Heronの元のトレーニングデータよりも不均衡です。積極的にファインチューニングすると、モデルは以前の一般的な検出能力の一部を失い始めました。
これを軽減するために、Heronの元のトレーニングデータの一部をファインチューニングミックスにブレンドしました。これにより、よりタイトなバウンディングボックスの定義に適応しながら、以前の能力を維持することができました。
したがって、ODモデルのファインチューニングは最適化だけではありません。アノテーションの一貫性、データセットのバランス、トレーニングフェーズ全体での知識保持の注意深い制御が必要です。
これらの課題が教えてくれたこと
これらの課題を乗り越えた後、一つの結論が避けられなくなりました。物体検出のファインチューニングはプラグアンドプレイではありません。それには、ODアーキテクチャの深い理解、トレーニングフレームワーク間での強力なデバッグスキル、非常に一貫性のある高品質なアノテーション、そしてドキュメントレイアウトの進化に応じた継続的なメンテナンスが必要です。
ほとんどのチームにとって、運用コストはカスタムODモデルを所有する利点をはるかに上回ります。これが、多くのドキュメントパイプラインが静かに苦戦している理由です。VLMが弱いからではなく、ODが解決済みの問題として扱われているからですが、実際はそうではありません。
学んだ教訓と今後の方向性
高品質なドキュメント変換は、最新のモデルを追いかけることではなく、基盤を強化することです。私たちが学んだことは明確です。ODはプラグアンドプレイではありません。厳格なデバッグ、一貫性のあるアノテーション、データ分布の注意深い制御が必要です。バウンディングボックスの小さな不整合は、測定可能なダウンストリームエラーに連鎖します。
OD品質は、OCR精度、テーブル構造復元、読み取り順序、構造化抽出など、ダウンストリームのすべての信頼性を直接決定します。だからこそ、私たちはODに大きく投資し、ユーザーがその必要がないようにしています。ユーザーはアプリケーションの構築と価値の提供に集中し、私たちはレイアウト基盤が正確で安定し、継続的に改善されるように注力します。