PerceptionBench是一個專為評估多模態大語言模型（MLLM）原子視覺感知能力而設計的基準測試。當前的主流評估方法存在明顯缺陷：整體性評估將感知錯誤與推理或領域知識失敗混為一談，而應用驅動的基準只覆蓋由啓發式設計塑造的狹窄、碎片化領域。為了解決這些問題，研究團隊採用自下而上的方法，通過分析前沿MLLM在42個現有基準上的最早失敗點，構建了一個錯誤分類體系。該體系的感知分支定義了十種原子感知能力，包括顏色感知、形狀感知、空間關係感知、紋理感知、大小感知、方向感知、數量感知、運動感知、亮度感知和圖案感知。基於這一分類法，他們創建了3000個經過驗證的問題，每個問題答案簡短明確，僅測試單一能力，難度源於感知層面而非推理或知識。在16個前沿MLLM上的測試結果表明，原子感知問題遠未解決：沒有任何模型的準確率超過60%，與感知相關的幻覺平均而言是最薄弱的能力。此外，相似的整體得分往往掩蓋了模型間截然不同的能力輪廓。例如，某些模型在空間感知上表現出色，但在顏色感知上表現糟糕。PerceptionBench提供了一個能力級別的標準，用於測量和診斷MLLM的視覺感知邊界。該基準的發佈為研究人員提供了新的視角，有助於識別和解決模型的感知瓶頸。未來，研究團隊計劃擴展感知類別，引入動態場景，並探索與推理能力的交互。這項工作對於推動更可靠、更強大的視覺基礎模型具有重要意義。同時，該基準也揭示了當前MLLM在低級視覺感知上的侷限性，為後續模型的改進指明瞭方向。
PerceptionBench：評估多模態大語言模型的原子視覺感知能力
文章摘要
PerceptionBench是一個專門設計用於評估多模態大語言模型（MLLMs）原子視覺感知能力的基準。它通過自下而上的方法，從42個現有基準中構建錯誤分類法，定義十種原子感知能力，並創建3000個可驗證問題。對16個前沿MLLMs的測試顯示，沒有模型達到60%的準確率，感知相關幻覺是最薄弱的環節。
來源arXiv Computer Vision作者: Zichao Lin, Yifeng Xie, Bowen Qu, Haiming Wang, Jia Li, Haoning Wu, Yuhao Dong, Zuhao Yang, Jinguo Zhu, Haoyu Lu, Zijia Zhao, Tongtian Yue, Zhangyang Qi, Junwei Yang, Mengfan Dong, Peizhou Cao, Chenzhuang Du, Zaida Zhou, Haotian Yao, Hao Yang, Hongcheng Gao, Lin Sui, Weihong Li, Xinxing Zu, Jia Chen, Yao Wang, Xiaoxue Wu, Yalin Wang, Y. Charles, Yiping Bao, Yangyang Liu, Zhiqi Huang, Xinyu Zhou
PerceptionBench：評估多模態大語言模型的原子視覺感知能力