GDP.pdf：前沿模型能否掌握驅動世界的文檔？
GDP.pdf是一個新的基準測試，評估AI模型處理現實世界PDF文檔的能力。測試涵蓋金融、法律、醫療等10個領域，結果顯示即使是頂尖模型（如GPT-5.5）的得分也低於30%。文章強調了PDF作為全球經濟命脈的重要性，並指出模型在關鍵任務中的失敗可能導致嚴重後果。
PDF解析或許不是人工智能研究中最光鮮的領域——它不會產生病毒式傳播的視頻，不會編寫炫酷的應用，也不會登上頭條新聞。但PDF是全球經濟中不可或缺的命脈，承載着每一份醫療記錄、收益報告、合同和發票。它們同樣也是AI智能體的生命線。如果我們期望自主智能體真正改變日常工作，它們必須原生掌握處理這些格式的能力：閲讀、整理、交叉引用密集數據，以及準確填寫表格。
當模型在這一層面失敗時，後果是嚴重的。例如，在金融領域，模型可能誤讀季度收益表中的兩個數字，導致買盤備忘錄中出現虛構的利潤率；在法律領域，模型可能虛構商業租約中責任上限的位置，帶來災難性的法律建議；在醫療領域，模型可能從藥物相互作用圖表中提取錯誤行，產生危及患者安全的致命風險。事實上，這些情況都在我們的測試中真實發生過。
為衡量這些雖不性感卻至關重要的工作，我們構建了GDP.pdf基準測試。其公開數據集可在HuggingFace上獲取。GDP.pdf是一個專家級的多模態和推理基準測試，包含100個直接從專業工作流中提取的現實世界提示和PDF，涵蓋金融、醫療、法律、科學研究、工程、建築、製造與供應鏈、保險、房地產和人力資源十大領域。每項任務都需要解析、理解和綜合複雜的PDF內容：解讀多頁劑量表、甄別嵌套附件中的賠償條款、核對季度文件中的收入數據。
結果令人震驚：所有前沿模型的得分均低於30%。排名如下：GPT-5.5（高推理）以25%位居第一，Claude Opus 4.8（自適應最大）23%，Claude Opus 4.7（自適應最大）21%，Gemini 3.1（Pro）17%，Gemini 3.5 Flash 14%，Kimi K2.6 12%，Gemini 3 Flash 10%，Grok 4.3（高）8%，Mistral Large 3、NVIDIA Nemotron 3 Nano Omni和Nova 2（Pro）並列以2%墊底。
在Surge，我們經常構建挑戰極限的基準測試，例如Hemingway-bench測試模型在文學上的潛力，CoreCraft測試其運營初創公司的能力，Riemann-bench則探索解決數學難題的極限。我們關心前沿的可能性，但也同樣重視現實世界的經濟效用。一個能推演黎曼假設卻在商業租約的細則中迷失的模型，本質上只是一個智能化的風險來源。在我們將AI智能體信任給驅動經濟的高風險工作流之前，它們必須首先掌握支撐這一切的複雜文書工作。
完整的GDP.pdf基準測試結果和失敗案例可在此查看，公開數據集可在HuggingFace上獲取。關注我們：/surge-ai，@hellosurgeai。