什么是文档AI？

文档AI是将人工智能（包括机器学习、自然语言处理和光学字符识别）应用于自动从文档中提取、分类和理解信息的技术。其他可互换的术语包括“文档智能”和“智能文档处理”（IDP）。

与传统的OCR不同，文档AI能理解上下文和含义。例如，它能识别出“$1,250.00”出现在“应付总额”旁边意味着这是发票金额，而不仅仅是页面上的数字。文档AI可以处理多种文档类型，包括电子表格等结构化文件、发票和收据等半结构化文档，以及合同和电子邮件等非结构化文件，将它们转化为可操作的数据。

文档AI的工作流程包括多个步骤：首先是文档摄入，支持PDF、扫描图像等多种格式；然后通过OCR将视觉内容转换为机器可读文本；接着进行布局解析，识别文档结构如标题、段落、表格等；实体提取利用NLP和机器学习模型抽取具体信息；分类和拆分对文档类型进行标记并拆分多文档文件；后处理阶段对提取的数据进行验证和格式化；最后，对于高风险或低置信度的提取结果，由人工审核并纠正，这也有助于持续改进模型准确性。

生成式AI正在改变文档AI。传统的文档AI结合OCR、基于规则的模板和较旧的机器学习模型，在处理非标准格式时表现不佳。现代文档智能将大型语言模型（LLM）融入传统架构，使其能够进行总结和问答，甚至从新文档格式中零样本提取信息。然而，LLM存在幻觉风险，可能生成与源文档不符的输出，因此在受监管行业中，验证和人工审核至关重要。

文档AI在各行业有广泛应用。金融和会计部门处理大量发票、采购订单等，通过文档AI自动提取和验证关键信息，减少手动录入。保险业在理赔处理中利用文档AI进行文档分类和数据提取，加快审核速度并减少错误。医疗保健领域处理患者登记表、同意书等，文档AI将其数字化并集成到电子健康记录系统中。法律和合规团队使用文档AI识别合同关键条款、标记义务和风险，缩短审查时间。抵押贷款和房地产行业处理各种文件，文档AI帮助标准化和提取数据。公共部门处理公民服务申请和身份证明文件，文档AI确保隐私控制和可审计性。

文档AI的优势包括提高处理速度、减少错误、扩展处理规模、降低成本、增强可搜索性以及为其他AI系统提供干净的结构化数据。然而，它也有局限性：语言覆盖不均衡，低资源语言准确率下降；文档质量影响结果；需要大量重复样本才能有效训练；边缘案例需要人工标注；LLM幻觉风险需通过验证和人工审核缓解；且必须实施适当的数据治理。

Databricks的文档智能方法将文档AI与分析和AI工作流统一在一个平台上，帮助企业更有效地管理文档处理流程。