研究者らはABACUSを提案する。これは、物体カウント、群衆カウント、参照表現カウントなど複数の画像カウントタスクを処理し、かつカウント結果に忠実な画像を生成する統一視覚言語モデルである。このモデルは、3Bパラメータの統一ファウンデーションモデルをベースに、3つの主要な革新によって適応され、ベンチマーク固有の学習を必要とせずに優れた性能を発揮する。
ABACUSの中核的革新の1つは、物体マップを用いた密度認識適応ズームである。この技術により、モデルの空間グラウンディング能力が向上し、画像内の物体をより正確に識別・カウントできるようになる。具体的には、密度認識適応ズームは画像内の物体密度に応じてズームレベルを自動調整し、物体マップは各ピクセルが物体に属する確率を提供することで、モデルが関連領域に焦点を当てるのを助ける。次に、研究者らはGRPO（強化学習アルゴリズムの一種）に基づく境界認識カウントポリシーを導入し、画像クロップによる境界エラーを効果的に除去する。画像を複数のブロックに分割する際、境界付近の物体が途切れ、カウント誤差が生じる可能性がある。境界認識ポリシーは、クロップ境界に特別な処理メカニズムを適用することで、カウントの正確性を確保する。3つ目の革新はサイクル一貫性GRPO戦略であり、モデルの理解ブランチが生成出力を自己批評する。例えば、モデルが複数の物体を含む画像を生成すると、理解ブランチがその画像を再分析してカウントを出力し、期待されるカウントと一致しない場合、生成ブランチがフィードバックに基づいて調整する。このプロセスは外部アノテーションを必要とせず、理解と生成のギャップを縮小する。
実験結果によると、ABACUSは7つの異なるベンチマークで最先端の性能を達成し、特定タスクに特化したモデルやパラメータ数がより大きな汎用モデルを上回った。例えば、物体カウントベンチマークFSC-147では、平均絶対誤差を15%以上削減し、群衆カウントベンチマークShanghaiTechでも既存手法を大幅に上回った。さらに、カウント忠実な画像生成タスクにおいて、ABACUSが生成する画像は指定された物体数に正確に一致し、理解と生成タスク間の強力な一貫性を示している。この成果は、適切な適応戦略により統一ファウンデーションモデルがマルチタスクで優れた能力を発揮できることを示しており、自動運転における障害物カウントや医療画像における細胞カウントなど、コンピュータビジョンにおけるカウント関連アプリケーションに強力なソリューションを提供する。