跳到主要内容
AI News HubLIVE
站内改写2 分钟阅读

DocArena:将原始文档转化为文档搜索智能体的可控训练环境

文章摘要

该论文提出DocArena,一个全自动数据策划流程,无需人工标注即可将原始文档集合转化为训练环境。它利用多模态大语言模型进行视觉感知、结构化索引和跨页信息分析,构建推理密集型问答对,并生成包含79K问答对、覆盖16个领域和49种语言的DocArena-79K数据集。此外,作者设计了Doc-Search智能体基础设施,将视觉感知与策略模型解耦,使纯文本LLM能作为多模态文档检索和问答的推理骨干。实验表明,在该数据上训练的智能体在检索准确性和问答质量上均取得最佳表现。

来源arXiv Computer Vision作者: Jiamian Wang, Ruiyi Zhang, Tong Yu, Jing Shi, Samyadeep Basu, Rajiv Jain, Zhiqiang Tao, Tong Sun
DocArena:将原始文档转化为文档搜索智能体的可控训练环境
报告错误

纠错通道尚未开通,可先复制下方文章信息留存。

查看更正说明
直接读正文

近期,通过强化学习训练搜索智能体的方法受到广泛关注。这类方法仅需(问题、答案、证据)三元组即可进行训练,无需专家轨迹,但训练环境的特性会直接影响智能体习得的搜索策略和泛化能力。然而,现有环境大多基于纯文本,难以构建可控、可扩展且支持多模态数据的训练环境。针对这一挑战,来自Jiamian Wang等八位作者的研究团队提出了DocArena,一个面向多模态文档搜索与问答需求的全自动数据策划流程,相关论文于2026年5月27日提交至arXiv(编号2606.26122)。

DocArena的核心创新在于完全无需人工标注。该流程首先利用多模态大语言模型(MLLM)对原始文档进行视觉感知,完成结构化解析和索引建立;接着,通过分析跨页信息分布来构建推理密集型问答对,并利用MLLM执行级联质量保证操作,确保数据质量。基于此流程,研究团队构建了DocArena-79K数据集,包含来自8,336份文档的79,000个问答对,覆盖16个领域和49种语言,展现了广泛的多模态和 multilingual 覆盖能力。

为了高效利用该数据集,作者进一步设计了Doc-Search智能体基础设施。该架构的关键在于将视觉感知模块与策略模型解耦:视觉感知由MLLM负责,而策略模型可以采用纯文本LLM作为推理骨干,从而降低对多模态模型推理能力的要求。这种设计使得现有的强大文本LLM能够直接应用于多模态文档检索和问答任务,提升了系统的灵活性和可扩展性。

在统一的评估框架下,研究团队在六个多模态文档场景和七个纯文本问答基准上进行了实验,确保仅策略模型不同,以公平比较训练数据的效果。结果表明,基于DocArena数据训练的智能体在检索准确性和问答质量上均取得了最佳性能。此外,对智能体搜索行为的进一步分析证实了所构建训练环境的有效性和可控性,说明环境设计能够引导智能体发展出更优的搜索策略。

总体而言,DocArena通过全自动流程将原始文档转化为可控的训练环境,解决了多模态文档搜索智能体训练中数据稀缺、标注成本高和可控性差的问题,为文档搜索领域提供了一种可扩展、高质量的解决方案。

展开要点与分析

文章情报

工程师进阶

要点

  • DocArena是首个全自动、无需人工标注的多模态文档搜索训练环境构建流程。
  • 发布了DocArena-79K数据集,包含来自8,336份文档的79K问答对,覆盖16个领域和49种语言。
  • 提出的Doc-Search架构将视觉感知与策略模型分离,使文本LLM能有效处理多模态文档检索。
  • 在六个多模态文档场景和七个文本QA基准上,基于DocArena训练的智能体在检索准确性和问答质量上均达到最优。

要点与分析由自动化流程生成,可能有误,请结合原始来源核实。