GDP.pdf：フロンティアモデルは世界を動かす文書を習得できるか？

PDFの解析は、AI研究の中でも最も華やかな分野ではありません。バイラル動画を生み出すことも、派手なアプリをコーディングすることも、見出しを飾ることもありません。しかし、PDFは世界経済の縁の下の力持ちであり、医療記録、決算報告書、契約書、請求書など、あらゆる重要な文書を支えています。それらは同時にAIエージェントの生命線でもあります。自律エージェントが日常業務を真に変革するためには、これらの形式をネイティブに習得し、読み取り、整理し、密なデータを相互参照し、正確に記入できなければなりません。

モデルがこのレベルで失敗すると、深刻な結果を招きます。金融分野では、四半期決算表から数値を誤って転記し、買収側のメモに虚偽のマージンが記載される可能性があります。法務分野では、商業リース内の責任上限の場所を幻覚し、壊滅的な法的助言につながる恐れがあります。医療分野では、薬物相互作用チャートから誤った行を取得し、患者の安全を脅かす致命的なリスクを生み出します。これらはすべて、私たちのテストで実際に発生した事例です。

経済を動かす縁の下の力持ち的だが不可欠な作業を測定するために、私たちはGDP.pdfを構築しました。公開セットはHuggingFaceで入手可能です。GDP.pdfは専門家レベルのマルチモーダル推論ベンチマークであり、金融、医療、法律、科学研究、工学、建設、製造・サプライチェーン、保険、不動産、人事の10分野にわたる専門家のワークフローから直接抽出された100の実世界プロンプトとPDFで構成されています。各タスクは、複雑なPDFの解析、理解、統合を必要とします。複数ページにわたる投薬量テーブルの解釈、入れ子になった別紙に埋もれた補償条項の特定、四半期報告書間の収益数値の調整などです。

結果は衝撃的でした。すべてのフロンティアモデルのスコアは30%未満でした。順位は以下の通りです：GPT-5.5（高推論）が25%で1位、Claude Opus 4.8（Adaptive Max）が23%、Claude Opus 4.7（Adaptive Max）が21%、Gemini 3.1（Pro）が17%、Gemini 3.5 Flashが14%、Kimi K2.6が12%、Gemini 3 Flashが10%、Grok 4.3（High）が8%、Mistral Large 3、NVIDIA Nemotron 3 Nano Omni、Nova 2（Pro）がそれぞれ2%で最下位でした。

Surgeでは、限界に挑戦するベンチマークを頻繁に構築しています。Hemingway-benchはモデルの文学賞への到達度を測定し、CoreCraftは混沌としたスタートアップを運営する能力を評価し、Riemann-benchはモデルが数学の難問を解けるかどうかをテストします。私たちはフロンティアの可能性を重視していますが、現実世界の経済的有用性も同様に重要です。リーマン仮説を理論化できても、商業リースの細かい文字に埋もれるモデルは、単なるインテリジェントなリスクに過ぎません。AIエージェントに経済を動かす高リスクのワークフローを委ねる前に、それを支える複雑な書類をマスターできるようにする必要があります。

完全なGDP.pdfベンチマーク結果と失敗例はこちら、公開セットはHuggingFaceでご覧いただけます。フォローは/surge-ai、@hellosurgeaiまで。