近年來，多模態學習在視覺-文本任務中取得了顯著進展，但在醫療和工業等高風險領域至關重要的視覺-表格數據（如醫學影像與化驗單的結合）仍缺乏系統研究。為此，來自多個機構的研究團隊推出了VT-Bench，這是首個專門為視覺-表格多模態學習設計的統一基準，旨在標準化該領域的判別預測與生成推理任務。
VT-Bench整合了來自9個領域的14個公開數據集，涵蓋醫療、寵物、媒體和交通等場景，共計超過75.6萬個樣本。這些數據支持兩類核心任務：判別性預測（如疾病診斷、屬性識別）和生成式推理（如影像報告生成、描述性文本生成）。研究團隊特別注重數據集的多樣性和領域覆蓋，以確保基準的全面性和代表性。
為了評估現有模型的性能，研究團隊選取了23種具有代表性的模型，包括單模態專家（僅處理圖像或表格）、專用視覺-表格模型、通用視覺語言模型（VLM）以及工具增強方法。評估結果令人深思：視覺-表格學習仍面臨巨大挑戰，現有模型在跨模態對齊、缺失值處理和小樣本泛化等方面存在明顯不足。例如，儘管通用VLM在視覺-文本任務中表現出色，但在處理表格數據時常常失效，無法有效融合圖像與結構化信息。
VT-Bench的發佈旨在推動社區開發更強大的視覺-表格基礎模型，並促進在醫療、工業等關鍵領域的實際應用。研究團隊已公開基準代碼和數據集（https://github.com/Ziyi-Jia990/VT-Bench），希望激勵更多研究者投入這一重要方向。VT-Bench不僅是一個評估工具，更是一個促進多模態學習向視覺-表格領域擴展的催化劑。