为什么微调文档目标检测比你想象的更难

目标检测（Object Detection, OD）一直是文档转换领域默默无闻的工作马。早在视觉语言模型（VLM）出现之前，文档处理流水线就依赖OD将页面分割成有意义的区域——段落、表格、图像、表单。这种分割使得后续的OCR、结构提取和下游推理成为可能。

如今，即使有强大的VLM能够端到端地总结页面或提取复杂表格，OD仍然扮演着关键角色。纯VLM方法在处理精确阅读顺序和复杂表格结构（尤其是包含跨行单元格或多列布局的表格）时可能表现不佳。

Unstructured的高保真转换工作流（HFTW = OD + VLM）通过首先将模型锚定在布局上来解决这一问题。具体步骤包括：显式检测区域（表格、标题、公式图像、文本块）；按类型提取元素；将每个区域路由到具有任务特定提示的专门模型。这种类型感知路由提高了准确性，减少了跨区域泄漏，并保持了流水线的稳定性。

尽管如此，纯VLM分割器在某些场景下仍可能优于Unstructured HFTW。表单是一个典型例子：当整个页面语义连贯且通常作为整体处理时，全页VLM传递可以更好地捕捉跨字段的关系，而不受预定义区域的约束。在更简单或更统一的布局中，端到端VLM推理可能更灵活且更易于维护。

本文将涵盖：OD为何仍定义文档转换质量；为什么微调自己的OD模型远比看起来困难；为什么大多数团队应避免拥有OD模型；以及我们的HFTW如何从持续的OD改进中受益。

为什么下游仍然需要目标检测质量

现代文档流水线不仅仅是“VLM输入，JSON输出”。高质量的转换始于正确的范围界定。在HFTW中，OD是基础。当边界框紧密且准确时，VLM处理干净输入；当OD质量下降时，VLM收到过大或截断的输入，提示变得脆弱且过度工程化，流水线变得复杂以补偿分割错误。此时，工程努力从质量改进转向损害控制。OD精度的每一次提升都直接转化为可衡量的性能改进。

快速结果概览

我们在检测质量和下游提取精度上都看到了明显的进步：

• 从YOLOX到IBM Heron：元素对齐提升7个百分点，表格检测F1提升3个百分点，减少了误分类和漏检，并带来了可量化的下游准确率提升。
• 从IBM Heron到微调Heron（Unstructured最新版）：检测召回率提升2.9个百分点，检测F1提升2.3个百分点，阅读顺序准确率提升1.4个百分点，修正后表格TEDS提升1.5个百分点，内容准确率（CCT）提升0.2个百分点。这些改进带来了更紧密的边界、更少的合并元素、改进的小目标召回率，以及结构化提取质量的进一步提升。

总的来说，OD比许多团队意识到的更为关键。这些改进并非来自增量调整，而是需要重新思考OD微调的整体方法。下面，我们讨论为什么选择Heron作为下一代OD微调的基础，以及微调OD模型所面临的挑战。

从Heron开始，而不是从零开始

我们并没有从零开始——这一次没有。早期，当没有开源文档目标检测模型满足我们的需求时，我们从头构建了自己的基于YOLO的OD模型。该模型表现可靠，支持广泛的文档类型。很长一段时间，它都是我们文档转换流水线的骨干。

但随着文档变得越来越复杂——布局更密集、语义更丰富、精度要求更高——其局限性变得明显。我们需要更强的布局理解和更好的块级语义感知。

这时，IBM的Heron文档目标检测模型出现了。Heron是一种基于Transformer的模型（RT-DETRv2），针对实时性能优化，并专门针对文档理解进行了训练。其Transformer架构实现了更强的全局上下文建模，使其能够在页面范围内推理块之间的关系、布局依赖性和层次结构，同时保持生产级速度。这使得Heron成为我们的有力选择。我们在此基础上构建，提升了布局智能。同时，Heron也提高了精度的门槛。

对于HFTW，“好”仍然不够好。该工作流依赖于极其精确和一致的边界框，以确保干净的裁剪和可靠的下游处理。即使是微小的不一致也可能在后续导致可衡量的质量下降。

因此，我们没有从头训练新模型，而是专注于在强大基础上进行微调，将Heron推到更远，以满足我们更严格的精度和一致性要求。

而这正是真正挑战开始的地方。

现实检验：微调OD并非即插即用

微调目标检测通常被描述为常规操作：添加数据，调整一些超参数，然后训练。这种描述具有危险的误导性。

我们最近的工作暴露了两个基本挑战，这些挑战重塑了我们对拥有OD模型的看法。

1. 训练框架中的Bug

我们使用Hugging Face的RT-DETRv2训练流水线进行微调，遇到了持续的不稳定性。我们尝试了所有常规方法：学习率扫描、优化器和调度器更改、冻结和解冻骨干和头部。但没有任何效果。

根本原因不是我们的数据或方法论，而是训练框架本身的bug。损失看似收敛，但预测概率始终低于0.2。我们花了一周时间进行全方位故障排除，投入了大量时间和计算资源。最终切换到RT-DETR的官方实现，问题立即解决。

微调OD模型不仅需要ML专业知识，还需要对训练框架和库行为的深刻理解。即使是成熟、广泛采用的工具也可能隐藏昂贵的失败模式，这些模式只有在规模下才会显现。

2. 跨数据集的标签不一致

更深层的挑战是数据对齐。Heron和我们的内部数据集基于不同的注释哲学构建。Heron倾向于更大的边界框，通常覆盖整个段落或章节；我们的下游流水线需要更紧密、更细粒度的块，与结构化提取任务对齐。两种方法单独工作都正常——我们继续成功使用Heron进行OD推理——但组合这些数据集进行微调引入了训练不稳定性。

2.1 边界框语义与过拟合

两个数据集在标签定义和框粒度上均存在差异。未经调整进行微调时，模型难以学习“正确”边界框的一致定义。随着训练轮次增加，这种不一致导致过拟合行为，模型在粗粒度和细粒度空间先验之间振荡，降低了泛化性能。

为了解决这个问题，我们设计了一种基于智能体的标签统一方法：标准化跨数据集的边界框粒度，对齐Heron和内部注释之间的标签语义，在训练前强制执行一致的空间定义。这一预处理步骤对于稳定学习至关重要。

2.2 灾难性遗忘与数据不平衡

微调过程中出现的第二个问题是灾难性遗忘。我们的内部数据集在分布上与Heron的原始训练数据不同且更不平衡。当激进微调时，模型开始失去一些先前的通用检测能力。

为了缓解这一问题，我们将Heron原始训练数据的一部分混合到微调数据集中。这有助于在适应我们更紧的边界框定义的同时保留先前的能力。

因此，微调OD模型不仅涉及优化，还需要对注释一致性、数据集平衡和训练阶段的知识保留进行仔细控制。

这些挑战教会了我们什么

在应对这些挑战之后，一个结论变得不可避免：微调目标检测不是即插即用的。它需要：对OD架构的深刻理解；跨训练框架的强调试技能；极其一致的高质量注释；以及随着文档布局演变而进行的持续维护。

对于大多数团队来说，运营成本远远超过拥有自定义OD模型的好处。这就是为什么许多文档流水线悄然挣扎的原因——不是因为VLM弱，而是因为OD被视为已解决问题，而事实并非如此。

经验教训与前进方向

高质量的文档转换不是追逐最新模型，而是加强基础。我们学到的很清楚：OD不是即插即用的。它需要严格的调试、一致的注释以及对数据分布的仔细控制。边界框中的微小不一致会级联成可衡量的下游错误。

OD质量直接决定了下游一切的可靠性：OCR准确性、表格结构恢复、阅读顺序和结构化提取。这就是为什么我们大力投资于它，这样你就不必了。我们让用户专注于构建应用程序和交付价值，而我们则专注于确保布局基础精确、稳定且不断改进。