C-GAP：类别感知与在线提示提升视觉语言模型在不平衡类别上的性能
C-GAP是一种新型框架，通过使用大语言模型（LLM）迭代优化语言提示，无需重新训练或额外标注，即可显著提升视觉语言模型对稀有类别的检测能力。该方法由两阶段组成：首先建立复合字幕基线，结合场景描述与类别数量上下文；其次，LLM基于少数类平均精度（AP）动态阈值，逐个图像地优化字幕，直至达到足够的性能增益。实验表明，C-GAP在多个基准上将少数类平均精度提升高达53%，在COCO数据集上相对基线提升约81%。
安全关键的感知系统，如自动驾驶和监控，必须可靠地检测稀有物体类别，但这些类别通常只出现在小标签空间中。传统的长尾检测方法针对数百个类别设计，依赖密集标注，无法有效应对这种场景。开放词汇检测器通过在推理时使用自然语言查询，提供了一种有前景的替代方案，其中提示质量成为检测性能的关键杠杆。
针对类别不平衡问题，研究人员提出了一种名为C-GAP（Caption-Guided Augmentation and Prompting）的新框架。该框架无需重新训练模型或收集额外标注，而是利用大语言模型（LLM）迭代优化输入给冻结检测器的语言提示。C-GAP分为两个阶段：首先建立复合字幕基线，将每张图像的场景描述与类别数量上下文结合，形成比单纯场景描述或类别数量提示更优的基线；其次，LLM逐图地优化字幕，根据少数类平均精度（[email protected]）相对于动态阈值的表现，将试验分为“接受”、“暂定”或“重新生成”三类，并在达到足够增益后提前终止。整个过程不更新任何检测器权重。
实验结果显示，C-GAP在多个开放词汇架构和基准上将少数类平均精度提升高达53%。在COCO数据集上，C-GAP将少数类[email protected]从17.69提升至32.09，相对提高约81%。进一步分析表明，复合字幕基线是有效优化的关键基础：若仅以场景描述或类别数量提示为起点进行优化，收益会递减，这证明了C-GAP两阶段设计的必要性。C-GAP的探测器无关性和无需标注的特点，使其有望广泛应用于安全关键领域中的稀有目标检测任务。