近年来，多模态学习在视觉-文本任务中取得了显著进展，但在医疗和工业等高风险领域至关重要的视觉-表格数据（如医学影像与化验单的结合）仍缺乏系统研究。为此，来自多个机构的研究团队推出了VT-Bench，这是首个专门为视觉-表格多模态学习设计的统一基准，旨在标准化该领域的判别预测与生成推理任务。
VT-Bench整合了来自9个领域的14个公开数据集，涵盖医疗、宠物、媒体和交通等场景，共计超过75.6万个样本。这些数据支持两类核心任务：判别性预测（如疾病诊断、属性识别）和生成式推理（如影像报告生成、描述性文本生成）。研究团队特别注重数据集的多样性和领域覆盖，以确保基准的全面性和代表性。
为了评估现有模型的性能，研究团队选取了23种具有代表性的模型，包括单模态专家（仅处理图像或表格）、专用视觉-表格模型、通用视觉语言模型（VLM）以及工具增强方法。评估结果令人深思：视觉-表格学习仍面临巨大挑战，现有模型在跨模态对齐、缺失值处理和小样本泛化等方面存在明显不足。例如，尽管通用VLM在视觉-文本任务中表现出色，但在处理表格数据时常常失效，无法有效融合图像与结构化信息。
VT-Bench的发布旨在推动社区开发更强大的视觉-表格基础模型，并促进在医疗、工业等关键领域的实际应用。研究团队已公开基准代码和数据集（https://github.com/Ziyi-Jia990/VT-Bench），希望激励更多研究者投入这一重要方向。VT-Bench不仅是一个评估工具，更是一个促进多模态学习向视觉-表格领域扩展的催化剂。