近年、マルチモーダル学習は視覚-テキストタスクで大きな注目を集めていますが、医療や産業などの重要領域で重要な役割を果たす視覚-表形式データ（例えば、医用画像と検査結果の組み合わせ）は未だ十分に研究されていません。そこで、複数の研究機関からなるチームがVT-Benchを開発しました。これは視覚-表形式マルチモーダル学習のための初の統一ベンチマークであり、識別予測と生成推論の両方のタスクを標準化することを目的としています。
VT-Benchは、医療、ペット、メディア、交通など9分野から14の公開データセットを統合し、合計75万6千以上のサンプルを提供します。これらのデータは、識別予測（例えば疾病診断や属性認識）と生成推論（例えば画像レポート生成や説明文生成）の2つの主要なタスクをサポートしています。研究チームはデータセットの多様性と分野のカバレッジに特に注意を払い、ベンチマークの包括性と代表性を確保しました。
既存モデルの性能を評価するため、研究チームは単一モーダル専門家（画像または表のみを処理）、専用視覚-表形式モデル、汎用視覚言語モデル（VLM）、およびツール拡張手法を含む23の代表的なモデルを選定しました。評価結果は、視覚-表形式学習が依然として大きな課題に直面していることを示しています。既存モデルは、クロスモーダルアライメント、欠損値処理、少数ショット汎化などの面で明らかに不足しています。例えば、汎用VLMは視覚-テキストタスクで優れた性能を発揮しますが、表形式データを処理する際にはしばしば失敗し、画像と構造化情報を効果的に統合できません。
VT-Benchの公開は、コミュニティがより強力な視覚-表形式基盤モデルを構築し、医療や産業などの重要領域での実用化を促進することを目的としています。研究チームはベンチマークのコードとデータセットをGitHub（https://github.com/Ziyi-Jia990/VT-Bench）で公開しており、多くの研究者がこの重要な方向性に取り組むことを期待しています。VT-Benchは単なる評価ツールではなく、マルチモーダル学習を視覚-表形式領域に拡張するための触媒となるでしょう。