目標檢測（Object Detection, OD）一直是文件轉換領域默默無聞的工作馬。早在視覺語言模型（VLM）出現之前，文件處理流水線就依賴OD將頁面分割成有意義的區域——段落、表格、影像、表單。這種分割使得後續的OCR、結構提取和下游推理成為可能。
如今，即使有強大的VLM能夠端到端地總結頁面或提取複雜表格，OD仍然扮演著關鍵角色。純VLM方法在處理精確閱讀順序和複雜表格結構（尤其是包含跨行單元格或多列布局的表格）時可能表現不佳。
Unstructured的高保真轉換工作流（HFTW = OD + VLM）透過首先將模型錨定在佈局上來解決這一問題。具體步驟包括：顯式檢測區域（表格、標題、公式影像、文本塊）；按型別提取元素；將每個區域路由到具有任務特定提示的專門模型。這種型別感知路由提高了準確性，減少了跨區域洩漏，並保持了流水線的穩定性。
儘管如此，純VLM分割器在某些場景下仍可能優於Unstructured HFTW。表單是一個典型例子：當整個頁面語義連貫且通常作為整體處理時，全頁VLM傳遞可以更好地捕捉跨欄位的關係，而不受預定義區域的約束。在更簡單或更統一的佈局中，端到端VLM推理可能更靈活且更易於維護。
本文將涵蓋：OD為何仍定義文件轉換質量；為什麼微調自己的OD模型遠比看起來困難；為什麼大多數團隊應避免擁有OD模型；以及我們的HFTW如何從持續的OD改進中受益。
為什麼下游仍然需要目標檢測質量
現代文件流水線不僅僅是“VLM輸入，JSON輸出”。高質量的轉換始於正確的範圍界定。在HFTW中，OD是基礎。當邊界框緊密且準確時，VLM處理乾淨輸入；當OD質量下降時，VLM收到過大或截斷的輸入，提示變得脆弱且過度工程化，流水線變得複雜以補償分割錯誤。此時，工程努力從質量改進轉向損害控制。OD精度的每一次提升都直接轉化為可衡量的效能改進。
快速結果概覽
我們在檢測質量和下游提取精度上都看到了明顯的進步：
- 從YOLOX到IBM Heron：元素對齊提升7個百分點，表格檢測F1提升3個百分點，減少了誤分類和漏檢，並帶來了可量化的下游準確率提升。
- 從IBM Heron到微調Heron（Unstructured最新版）：檢測召回率提升2.9個百分點，檢測F1提升2.3個百分點，閱讀順序準確率提升1.4個百分點，修正後表格TEDS提升1.5個百分點，內容準確率（CCT）提升0.2個百分點。這些改進帶來了更緊密的邊界、更少的合併元素、改進的小目標召回率，以及結構化提取質量的進一步提升。
總的來說，OD比許多團隊意識到的更為關鍵。這些改進並非來自增量調整，而是需要重新思考OD微調的整體方法。下面，我們討論為什麼選擇Heron作為下一代OD微調的基礎，以及微調OD模型所面臨的挑戰。
從Heron開始，而不是從零開始
我們並沒有從零開始——這一次沒有。早期，當沒有開源文件目標檢測模型滿足我們的需求時，我們從頭構建了自己的基於YOLO的OD模型。該模型表現可靠，支援廣泛的文件型別。很長一段時間，它都是我們文件轉換流水線的骨幹。
但隨著文件變得越來越複雜——佈局更密集、語義更豐富、精度要求更高——其侷限性變得明顯。我們需要更強的佈局理解和更好的塊級語義感知。
這時，IBM的Heron文件目標檢測模型出現了。Heron是一種基於Transformer的模型（RT-DETRv2），針對即時效能最佳化，並專門針對文件理解進行了訓練。其Transformer架構實現了更強的全域性上下文建模，使其能夠在頁面範圍內推理塊之間的關係、佈局依賴性和層次結構，同時保持生產級速度。這使得Heron成為我們的有力選擇。我們在此基礎上構建，提升了佈局智慧。同時，Heron也提高了精度的門檻。
對於HFTW，“好”仍然不夠好。該工作流依賴於極其精確和一致的邊界框，以確保乾淨的裁剪和可靠的下游處理。即使是微小的不一致也可能在後續導致可衡量的質量下降。
因此，我們沒有從頭訓練新模型，而是專注於在強大基礎上進行微調，將Heron推到更遠，以滿足我們更嚴格的精度和一致性要求。
而這正是真正挑戰開始的地方。
現實檢驗：微調OD並非即插即用
微調目標檢測通常被描述為常規操作：新增資料，調整一些超引數，然後訓練。這種描述具有危險的誤導性。
我們最近的工作暴露了兩個基本挑戰，這些挑戰重塑了我們對擁有OD模型的看法。
1. 訓練框架中的Bug
我們使用Hugging Face的RT-DETRv2訓練流水線進行微調，遇到了持續的不穩定性。我們嘗試了所有常規方法：學習率掃描、最佳化器和排程器更改、凍結和解凍骨幹和頭部。但沒有任何效果。
根本原因不是我們的資料或方法論，而是訓練框架本身的bug。損失看似收斂，但預測機率始終低於0.2。我們花了一週時間進行全方位故障排除，投入了大量時間和計算資源。最終切換到RT-DETR的官方實現，問題立即解決。
微調OD模型不僅需要ML專業知識，還需要對訓練框架和庫行為的深刻理解。即使是成熟、廣泛採用的工具也可能隱藏昂貴的失敗模式，這些模式只有在規模下才會顯現。
2. 跨資料集的標籤不一致
更深層的挑戰是資料對齊。Heron和我們的內部資料集基於不同的註釋哲學構建。Heron傾向於更大的邊界框，通常覆蓋整個段落或章節；我們的下游流水線需要更緊密、更細粒度的塊，與結構化提取任務對齊。兩種方法單獨工作都正常——我們繼續成功使用Heron進行OD推理——但組合這些資料集進行微調引入了訓練不穩定性。
2.1 邊界框語義與過擬合
兩個資料集在標籤定義和框粒度上均存在差異。未經調整進行微調時，模型難以學習“正確”邊界框的一致定義。隨著訓練輪次增加，這種不一致導致過擬合行為，模型在粗粒度和細粒度空間先驗之間振盪，降低了泛化效能。
為了解決這個問題，我們設計了一種基於智慧體的標籤統一方法：標準化跨資料集的邊界框粒度，對齊Heron和內部註釋之間的標籤語義，在訓練前強制執行一致的空間定義。這一預處理步驟對於穩定學習至關重要。
2.2 災難性遺忘與資料不平衡
微調過程中出現的第二個問題是災難性遺忘。我們的內部資料集在分佈上與Heron的原始訓練資料不同且更不平衡。當激進微調時，模型開始失去一些先前的通用檢測能力。
為了緩解這一問題，我們將Heron原始訓練資料的一部分混合到微調資料集中。這有助於在適應我們更緊的邊界框定義的同時保留先前的能力。
因此，微調OD模型不僅涉及最佳化，還需要對註釋一致性、資料集平衡和訓練階段的知識保留進行仔細控制。
這些挑戰教會了我們什麼
在應對這些挑戰之後，一個結論變得不可避免：微調目標檢測不是即插即用的。它需要：對OD架構的深刻理解；跨訓練框架的強除錯技能；極其一致的高質量註釋；以及隨著文件佈局演變而進行的持續維護。
對於大多數團隊來說，運營成本遠遠超過擁有自定義OD模型的好處。這就是為什麼許多文件流水線悄然掙扎的原因——不是因為VLM弱，而是因為OD被視為已解決問題，而事實並非如此。
經驗教訓與前進方向
高質量的文件轉換不是追逐最新模型，而是加強基礎。我們學到的很清楚：OD不是即插即用的。它需要嚴格的除錯、一致的註釋以及對資料分佈的仔細控制。邊界框中的微小不一致會級聯成可衡量的下游錯誤。
OD質量直接決定了下游一切的可靠性：OCR準確性、表格結構恢復、閱讀順序和結構化提取。這就是為什麼我們大力投資於它，這樣你就不必了。我們讓使用者專注於構建應用程式和交付價值，而我們則專注於確保佈局基礎精確、穩定且不斷改進。