超越热力图:无监督概念图推理实现可解释视觉解释
提出一种基于图的概念瓶颈模型G-CBM,通过无监督概念发现和图注意力网络实现内在可解释性,在多项基准上提升AUC。
在人工智能领域,模型的可解释性一直是研究热点。传统的概念瓶颈模型(CBM)虽然提供了内在可解释性,但往往依赖于预定义的概念词汇表或监督注释,缺乏明确的概念基础,并且用单一图像级分数概括每个概念,忽略了空间重复和概念间的依赖关系。针对这些局限性,研究人员提出了一种基于图的概念瓶颈模型(Graph-based Concept Bottleneck Model, G-CBM),旨在通过无监督方式发现概念并进行推理,从而提供更精细的解释。
G-CBM的核心创新在于利用非负矩阵分解(NMF)进行无监督概念发现,并将发现的概念表示为每张图像概念图中的节点。模型将区域级特征与这些概念节点匹配,提供概念基础并捕捉概念在图像中的重复出现。通过引入可调的概念过滤阈值τ,G-CBM能够抑制弱区域级特征,从而增强模型的鲁棒性和选择性。随后,图注意力网络(GAT)对节点之间的非线性依赖关系进行建模,实现概念级别的推理。
在多个基准数据集上的实验表明,G-CBM显著优于传统方法。在ImageNet、HAM10000、PH2和Derm7pt上,G-CBM相比ResNet-50基线平均相对AUC提升3.7%。特别地,概念过滤机制不仅提高了预测性能,还诱导了有选择性的概念使用:在PH2数据集上,仅使用10个概念中的2个即可达到0.96的AUC;在HAM10000上,使用9个概念中的3.8个达到0.92的AUC。在皮肤病学任务上,G-CBM与需要外部注释的监督方法相比具有竞争力。删除/插入分析结合随机消融对照表明,学习到的概念排名忠实地反映了模型预测。
这项研究为可解释人工智能提供了新的思路,G-CBM通过无监督概念发现和图推理,在保持模型性能的同时增强了可解释性。该论文已被IJCAI-ECAI 2026 XAI研讨会接收,将于德国不来梅召开。论文共7页,包含4张图,作者包括Md Mohasin Hossain等16位研究人员。论文的arXiv编号为2607.01416,DOI即将注册。代码和数据预计将在未来发布。这一工作有望推动可解释AI在医学影像等关键领域的应用,特别是在需要透明决策的场景下。