CAFD：基于概念感知的DNN故障检测方法（使用VLM）
本文提出CAFD，一种结合模型信号、距离特征和概念失败比（CFR）的故障检测方法，利用视觉-语言模型提取图像概念，有效提升DNN故障检测性能，在多个基准上平均故障检测率提升18.3%。
文章情报
要点
- CAFD是一种轻量级学习型方法，集成多种信息源实现高效DNN故障检测
- 创新性地引入概念失败比（CFR）特征，通过视觉-语言模型提取语义信息
- 在ImageNet等数据集上相比五种基线方法，平均故障检测率提高18.3%
为什么重要
这条新闻值得关注，因为CAFD是一种轻量级学习型方法，集成多种信息源实现高效DNN故障检测。
技术影响
可能影响模型选型、推理成本、产品能力和评测基准。
深度神经网络（DNN）在计算机视觉、自然语言处理等领域的广泛应用，使得其可靠性成为关键问题。DNN故障检测旨在识别导致模型性能下降的错误输入或内部状态，近年来受到越来越多研究者的关注。尽管已有方法通过结合多种信息源（如模型输出、中间特征等）提升了检测性能，但它们往往依赖复杂的混合架构，带来高昂的计算开销，限制了在实际系统中的可扩展性和部署效率。
针对这一挑战，来自多所机构的研究人员提出了一种名为“概念感知故障检测”（Concept-Aware Fault Detection，CAFD）的新型学习型方法。CAFD的核心思想是整合三类互补的特征：基于DNN输出的模型信号、距离特征，以及一项创新的概念级特征——概念失败比（Concept Failure Ratio，CFR）。CFR利用先进的视觉-语言模型（VLM）从输入图像中提取相关的文本概念，并量化这些概念的存在与DNN故障之间的关联概率。通过引入这一语义层面的信息，CAFD能够从更丰富的角度捕捉故障模式，从而实现更精准的检测。
研究团队在三个具有代表性的DNN模型和数据集（包括ImageNet）上进行了全面的实验评估。他们将CAFD与五种最先进的基线方法进行了对比，覆盖了不同的受限选择预算场景。实验结果表明，CAFD在所有测试场景中均取得了最高的故障检测率（Fault Detection Rate，FDR），平均FDR提升达到18.3%。特别是在预算紧张的情况下，CAFD的优势更加明显，充分验证了其效率与效果的平衡。
CAFD的提出不仅为DNN故障检测提供了一种新的思路，还展示了视觉-语言模型在该领域的巨大潜力。未来，研究团队计划进一步探索如何将CAFD扩展到更复杂的模型架构和在线应用场景中，以及如何与模型自适应机制相结合，实现更全面的可信DNN系统。