AIは科学図を描けるか？テキスト画像生成およびマルチモーダルモデルによる科学図生成評価のためのベンチマーク

近年、テキスト画像生成およびマルチモーダル生成モデルの急速な進歩により、科学者たちはメカニズム図、実験設計図、概念的枠組み、グラフィカルアブストラクトなどの科学図をAIで生成する試みを増やしている。これらの図は学術論文、プレゼンテーション、教育において重要な役割を果たす。しかし、既存の画像生成ベンチマーク（GenEval、T2I-CompBench、DPG-Benchなど）は主に自然画像を評価し、構図、物体数、フォトリアリズムに焦点を当てており、科学図に求められる重要な要素、すなわち正確で読みやすいテキストラベル、エンティティとその関係の忠実な描写、一貫した図的構造、分野別の描画慣習の遵守をまったく測定していない。この評価の欠如は、AIの専門分野への応用と進歩を妨げている。

このギャップを埋めるため、Davie Chenらの研究チームはSciDraw-Benchを提案した。これは科学図生成能力を評価するための専用ベンチマークであり、8種類の図タイプ（フローチャート、模式図、枠組み図、メカニズム図など）と10分野（生物学、化学、コンピュータ科学、物理学など）にわたる32の構造化タスクを含む。各タスクには、自然言語プロンプトと機械チェック可能な仕様書がペアになっており、仕様書には必要なラベル、関係、構成要素、描画慣習、禁止事項が詳細に記載されている。これにより、評価は主観的判断だけでなく、自動化ツールによる客観的な検証も可能となる。

評価プロトコルは4つの次元から構成される：テキスト忠実度（OCRによるラベル再現率と文字誤り率）、意味的正しさ（視覚言語モデルによる仕様に照らした判断）、構造品質（図全体のレイアウトと論理的一貫性の評価）、慣習遵守（図が特定分野の標準的な描き方に従っているかのチェック）。さらに、研究チームはメタ評価プロトコルを提案し、評価自体の有効性を検証するとともに、評価者間信頼性の予備分析を行っている。人間による評価の検証は現在も進行中である。

実験では、科学図に特化したシステム「SciDraw AI」を評価し、複数の代表的な汎用テキスト画像生成モデルと比較した。全8図タイプを対象としたパイロット実験において、SciDraw AIはすべての評価次元と図タイプで汎用ベースラインを大幅に上回り、特に意味的正しさと慣習遵守で最大の差を示した。しかし、テキスト忠実度は全システムにとって最も困難な次元であり、現在の技術の主要なボトルネックとなっている。

この研究の重要性は、AIによる科学図生成の評価に初めて包括的で構造化されたベンチマークを提供し、当該分野の標準化と進歩を促進する点にある。論文は2026年6月24日にarXivに提出され、今後はコードから図を生成するベースラインの拡張や、テキスト忠実度のさらなる最適化が計画されている。AI研究や科学可視化に従事する研究者やエンジニアにとって、この研究は貴重なリソースと方向性を提供するものである。