CADタスクにおけるAIモデルとエージェントのベンチマーク

Parametric CAD Benchは、AIモデルとエージェントのCAD設計および3Dモデリングにおけるパフォーマンスを評価するための包括的なベンチマーク群です。このプロジェクトはgNucleus AIチームによって開始され、コミュニティベースのオープンソースイニシアチブとして、最高品質のオープンパラメトリックCADデータセットの構築を目指しています。ベンチマークは、自然言語プロンプトと参照入力から編集可能なパラメトリック3D CAD部品を生成するタスク、適切な拘束とコンポーネント階層を持つマルチパーツアセンブリの生成、およびターゲット仕様を満たすまで設計を反復的に編集・検証する複数ステップのCADワークフローなど、複数のタスクタイプをカバーしています。

最新のリーダーボードでは、GPT-5.5とCodexエージェントの組み合わせが総合スコア0.832でトップですが、実行コストは170ドルと最も高額です。一方、コストパフォーマンスに優れた選択肢としては、gemini-3.1-pro-previewとmini-swe-agent（スコア0.790、コスト70.82ドル）や、GPT-5.5とmini-swe-agent（スコア0.744、コスト42.35ドル）が挙げられます。下位のモデル、例えばgemini-3.1-flash-lite-previewはコストが3.00ドルと極めて低いものの、スコアは0.241にとどまっています。

評価手法は視覚的な類似性だけでなく、生成されたCADの有効性、正確性、再構築可能性、設計仕様との一貫性をサンドボックス環境で自動的にチェックします。各タスクは、幾何精度、拘束・アセンブリの正確性、パラメトリック正確性、トポロジ/構造、エージェントワークフローの成功率、効率などの軸に沿ってスコアリングされ、スコアは決定論的です。

最新のアップデートとして、2026年5月13日にはFreeCADでのパラメトリック3D機械部品設計におけるAIエージェントのベンチマークレポートが公開されました。5月10日には、AIが生成したパラメトリックFreeCAD部品をプログラムで評価するためのfreecad-validatorがGitHubでオープンソース化されました。5月8日には、cad-gen-freecadデータセットがHugging Faceで公開され、ネイティブなFreeCAD部品、パラメトリックフィーチャー履歴、設計仕様、レンダリング画像が含まれており、テキストプロンプトからの正確なパラメトリックCAD生成をサポートします。