C-GAP: クラス認識とオンラインプロンプティングによる不均衡クラス上の視覚言語モデルの改善
C-GAPは、大規模言語モデル（LLM）を用いて言語プロンプトを反復的に改良し、再トレーニングや追加アノテーションなしに、視覚言語モデルにおけるレアクラスの検出を向上させる新しいフレームワークです。2つのフェーズから構成されます：まず、シーン記述とクラス数量コンテキストを組み合わせた複合キャプションベースラインを確立し、次に、LLMが少数クラスの平均精度（AP）閾値に基づいて各画像のキャプションを反復的に最適化します。実験では、少数クラスのAPが最大53%向上し、COCOでは約81%の相対改善を示しました。
安全性が重要な認識システム（例：自動運転や監視）では、稀な物体クラスを確実に検出する必要がありますが、これらのクラスは通常、小さなラベル空間にしか現れません。数百のクラス向けに設計され、密なアノテーションに依存する従来のロングテール検出手法は、この設定に対処できません。オープンボキャブラリ検出器は、推論時に自然言語クエリを使用することで有望な代替手段を提供し、プロンプトの品質が検出性能の重要なレバーとなります。
クラス不均衡問題に対処するため、研究者らはC-GAP（Caption-Guided Augmentation and Prompting）と呼ばれる新しいフレームワークを提案しました。このフレームワークは、モデルの再トレーニングや追加アノテーションを必要とせず、代わりに大規模言語モデル（LLM）を使用して、凍結された検出器に入力される言語プロンプトを反復的に改良します。C-GAPは2つのフェーズで動作します：まず、画像のシーン記述とクラス数量コンテキストを組み合わせた複合キャプションベースラインを確立し、シーン記述のみやクラス数量のみのプロンプトよりも優れたベースラインを提供します。次に、LLMが各画像のキャプションを個別に最適化し、少数クラスの平均精度（[email protected]）を複合ベースラインから導出された動的閾値と比較して、試行を「受理」、「暫定」、「再生成」のバケットに振り分けます。十分な[email protected]のゲインが達成されると、早期に最適化を終了します。どの段階でも検出器の重みは更新されません。
実験結果によると、C-GAPは複数のオープンボキャブラリアーキテクチャとベンチマークにおいて、少数クラスの平均精度を最大53%向上させました。COCOデータセットでは、C-GAPは少数クラスの[email protected]を17.69から32.09に向上させ、複合ベースラインに対して約81%の相対改善を達成しました。さらに、複合キャプションが効果的な最適化の重要な基盤であることが確認されました。シーン記述のみまたはクラス数量のみのプロンプトを出発点とした場合、改善効果は減少し、C-GAPの両フェーズが必要な貢献であることが示されました。C-GAPは検出器非依存でアノテーション不要であるため、安全クリティカルな領域における稀な物体検出タスクに幅広く応用できる可能性があります。