DrawingVQA：建設図面における多深度視覚・テキスト推論のための実世界ベンチマーク
DrawingVQAは、実際の建設図面におけるマルチモーダル大規模言語モデル（MLLM）を評価する初のベンチマークです。33枚の「発行済み施工図面」と92の専門家作成の質問応答ペアを含み、知覚理解、文脈解釈、専門家推論の3つの推論深度をカバーします。二重分類フレームワークにより、工学的ワークフローをAI能力にマッピングし、最先端MLLMと専門家の間には、特に高推論深度で大きな性能差があることを明らかにしました。
研究者らはこのたび、実際の建設図面におけるマルチモーダル大規模言語モデル（MLLM）の理解と推論能力を評価するための初のベンチマーク「DrawingVQA」を発表した。建設図面は建築や土木工学などの中核的なメディアであり、抽象的な幾何学図形、記号表記、表形式データ、注釈、専門用語を融合した、極めて複雑な視覚・テキスト領域である。自然画像や模式的な間取り図とは異なり、建設図面には専門的な記号、寸法表示、材料説明、図面間の参照関係が多数含まれており、モデルには高度な視覚理解と専門知識が要求される。
DrawingVQAベンチマークは、33枚の「発行済み施工図面」と、専門家が慎重に作成した92の質問応答ペアで構成される。これらのペアは、知覚理解（例えば、ドアや窓、配管などの基本要素の認識）、文脈解釈（記号や注釈の意味を理解し、部材の機能を推測する）、専門家推論（複数の図面と建築基準を統合して安全分析や設計判断を行う）の3つの推論深度に分類される。さらに、研究チームは二重分類フレームワークを提案し、7つの建設工学分野（構造、電気、機械など）と4つのMLLM能力次元（視覚知覚、テキスト理解、論理推論、知識統合）の両方からモデルの性能を分析することで、工学的ワークフローをAIの推論能力に初めて明示的にマッピングした。このフレームワークは既存モデルの評価だけでなく、将来のモデル設計や改善の方向性も示す。
最新のMLLM（GPT-4V、Geminiなど）を評価した結果、モデルは知覚理解タスクでは専門家レベルの約70%の精度を示すものの、推論深度が増すにつれて専門家との差が顕著に拡大することが明らかになった。専門家推論レベルでは、モデルの精度は30%未満であり、専門家は90%以上を達成した。例えば、複数の図面と専門知識を統合する必要があるタスクでは、モデルは重要な詳細を見落としたり、記号を誤って解釈したりして、誤った判断を下した。この結果は、MLLMが汎用的な視覚タスクで大きな進歩を遂げた一方で、専門工学分野ではさらなる改善が必要であり、特に深層推論と知識統合の面で課題があることを示している。
DrawingVQAチームは、このベンチマークがドメイン特化型のマルチモーダル推論の基盤を築き、実世界の工学ワークフローへのAI統合を促進すると述べている。関連論文はCVPR 2026で採択され、arXiv（ID: 2607.15418）で公開されている。今後の展望として、図面の種類（構造、電気、給排水など）や問題の多様性を拡大し、グラフニューラルネットワークやドメイン特化型事前学習を取り入れたモデルアーキテクチャの探求が挙げられている。DrawingVQAの発表は、汎用ビジョンから専門工学応用への重要な一歩であり、建設業界のインテリジェント化に新たな可能性をもたらす。