C-GAP：類別感知與在線提示提升視覺語言模型在不平衡類別上的性能
C-GAP是一種新型框架，通過使用大語言模型（LLM）迭代優化語言提示，無需重新訓練或額外標註，即可顯著提升視覺語言模型對稀有類別的檢測能力。該方法由兩階段組成：首先建立複合字幕基線，結合場景描述與類別數量上下文；其次，LLM基於少數類平均精度（AP）動態閾值，逐個圖像地優化字幕，直至達到足夠的性能增益。實驗表明，C-GAP在多個基準上將少數類平均精度提升高達53%，在COCO數據集上相對基線提升約81%。
安全關鍵的感知系統，如自動駕駛和監控，必須可靠地檢測稀有物體類別，但這些類別通常只出現在小標籤空間中。傳統的長尾檢測方法針對數百個類別設計，依賴密集標註，無法有效應對這種場景。開放詞彙檢測器通過在推理時使用自然語言查詢，提供了一種有前景的替代方案，其中提示質量成為檢測性能的關鍵槓桿。
針對類別不平衡問題，研究人員提出了一種名為C-GAP（Caption-Guided Augmentation and Prompting）的新框架。該框架無需重新訓練模型或收集額外標註，而是利用大語言模型（LLM）迭代優化輸入給凍結檢測器的語言提示。C-GAP分為兩個階段：首先建立複合字幕基線，將每張圖像的場景描述與類別數量上下文結合，形成比單純場景描述或類別數量提示更優的基線；其次，LLM逐圖地優化字幕，根據少數類平均精度（[email protected]）相對於動態閾值的表現，將試驗分為“接受”、“暫定”或“重新生成”三類，並在達到足夠增益後提前終止。整個過程不更新任何檢測器權重。
實驗結果顯示，C-GAP在多個開放詞彙架構和基準上將少數類平均精度提升高達53%。在COCO數據集上，C-GAP將少數類[email protected]從17.69提升至32.09，相對提高約81%。進一步分析表明，複合字幕基線是有效優化的關鍵基礎：若僅以場景描述或類別數量提示為起點進行優化，收益會遞減，這證明了C-GAP兩階段設計的必要性。C-GAP的探測器無關性和無需標註的特點，使其有望廣泛應用於安全關鍵領域中的稀有目標檢測任務。