安全關鍵的感知系統，如自動駕駛和監控，必須可靠地檢測稀有物體類別，但這些類別通常只出現在小標籤空間中。傳統的長尾檢測方法針對數百個類別設計，依賴密集標註，無法有效應對這種場景。開放詞彙檢測器通過在推理時使用自然語言查詢，提供了一種有前景的替代方案，其中提示質量成為檢測性能的關鍵槓桿。
針對類別不平衡問題，研究人員提出了一種名為C-GAP（Caption-Guided Augmentation and Prompting）的新框架。該框架無需重新訓練模型或收集額外標註，而是利用大語言模型（LLM）迭代優化輸入給凍結檢測器的語言提示。C-GAP分為兩個階段：首先建立複合字幕基線，將每張圖像的場景描述與類別數量上下文結合，形成比單純場景描述或類別數量提示更優的基線；其次，LLM逐圖地優化字幕，根據少數類平均精度（[email protected]）相對於動態閾值的表現，將試驗分為“接受”、“暫定”或“重新生成”三類，並在達到足夠增益後提前終止。整個過程不更新任何檢測器權重。
實驗結果顯示，C-GAP在多個開放詞彙架構和基準上將少數類平均精度提升高達53%。在COCO數據集上，C-GAP將少數類[email protected]從17.69提升至32.09，相對提高約81%。進一步分析表明，複合字幕基線是有效優化的關鍵基礎：若僅以場景描述或類別數量提示為起點進行優化，收益會遞減，這證明了C-GAP兩階段設計的必要性。C-GAP的探測器無關性和無需標註的特點，使其有望廣泛應用於安全關鍵領域中的稀有目標檢測任務。