GDP.pdf：前沿模型能否掌握驱动世界的文档？
GDP.pdf是一个新的基准测试，评估AI模型处理现实世界PDF文档的能力。测试涵盖金融、法律、医疗等10个领域，结果显示即使是顶尖模型（如GPT-5.5）的得分也低于30%。文章强调了PDF作为全球经济命脉的重要性，并指出模型在关键任务中的失败可能导致严重后果。
PDF解析或许不是人工智能研究中最光鲜的领域——它不会产生病毒式传播的视频，不会编写炫酷的应用，也不会登上头条新闻。但PDF是全球经济中不可或缺的命脉，承载着每一份医疗记录、收益报告、合同和发票。它们同样也是AI智能体的生命线。如果我们期望自主智能体真正改变日常工作，它们必须原生掌握处理这些格式的能力：阅读、整理、交叉引用密集数据，以及准确填写表格。
当模型在这一层面失败时，后果是严重的。例如，在金融领域，模型可能误读季度收益表中的两个数字，导致买盘备忘录中出现虚构的利润率；在法律领域，模型可能虚构商业租约中责任上限的位置，带来灾难性的法律建议；在医疗领域，模型可能从药物相互作用图表中提取错误行，产生危及患者安全的致命风险。事实上，这些情况都在我们的测试中真实发生过。
为衡量这些虽不性感却至关重要的工作，我们构建了GDP.pdf基准测试。其公开数据集可在HuggingFace上获取。GDP.pdf是一个专家级的多模态和推理基准测试，包含100个直接从专业工作流中提取的现实世界提示和PDF，涵盖金融、医疗、法律、科学研究、工程、建筑、制造与供应链、保险、房地产和人力资源十大领域。每项任务都需要解析、理解和综合复杂的PDF内容：解读多页剂量表、甄别嵌套附件中的赔偿条款、核对季度文件中的收入数据。
结果令人震惊：所有前沿模型的得分均低于30%。排名如下：GPT-5.5（高推理）以25%位居第一，Claude Opus 4.8（自适应最大）23%，Claude Opus 4.7（自适应最大）21%，Gemini 3.1（Pro）17%，Gemini 3.5 Flash 14%，Kimi K2.6 12%，Gemini 3 Flash 10%，Grok 4.3（高）8%，Mistral Large 3、NVIDIA Nemotron 3 Nano Omni和Nova 2（Pro）并列以2%垫底。
在Surge，我们经常构建挑战极限的基准测试，例如Hemingway-bench测试模型在文学上的潜力，CoreCraft测试其运营初创公司的能力，Riemann-bench则探索解决数学难题的极限。我们关心前沿的可能性，但也同样重视现实世界的经济效用。一个能推演黎曼假设却在商业租约的细则中迷失的模型，本质上只是一个智能化的风险来源。在我们将AI智能体信任给驱动经济的高风险工作流之前，它们必须首先掌握支撑这一切的复杂文书工作。
完整的GDP.pdf基准测试结果和失败案例可在此查看，公开数据集可在HuggingFace上获取。关注我们：/surge-ai，@hellosurgeai。