研究人员提出ABACUS，一个统一的视觉语言模型，旨在处理多种图像计数任务——包括物体计数、人群计数和指代表达计数——同时还能生成与计数结果一致的图像。该模型基于一个3B参数的统一基础模型，通过三项关键创新进行适配，无需针对每个基准进行特定训练即可实现卓越性能。
ABACUS的核心创新之一在于密度感知自适应缩放与目标图。该技术增强了模型的空间定位能力，使其能够更精确地识别和计数图像中的物体。具体而言，密度感知自适应缩放会根据图像中物体的密度自动调整缩放级别，而目标图则提供了每个像素属于物体的概率，从而帮助模型聚焦于相关区域。其次，研究人员引入了基于GRPO（一种强化学习算法）的边界感知计数策略，有效消除了因图像裁剪导致的边界误差。在图像被裁剪成多个块时，边界附近的物体可能被截断，导致计数错误。边界感知策略通过在裁剪边界处应用特殊的处理机制，确保计数的准确性。第三项创新是循环一致GRPO策略，其中模型的理解分支能够自我批评生成的输出。例如，当模型生成一个包含多个物体的图像时，理解分支会重新分析该图像并给出一个计数，如果与预期计数不一致，则生成分支会根据反馈进行调整。这一过程无需外部标注，弥合了理解与生成之间的差距。
实验结果表明，ABACUS在七个不同的基准测试中均达到了最先进的性能，超越了专门针对特定任务的模型以及参数规模更大的通用模型。例如，在物体计数基准FSC-147上，ABACUS将平均绝对误差降低了15%以上；在人群计数基准ShanghaiTech上，它也显著优于现有方法。此外，在计数忠实图像生成任务中，ABACUS生成的图像能够精确匹配指定的物体数量，显示出其在理解与生成任务之间的强大一致性。这一成果表明，通过精心设计的适配策略，统一基础模型可以在多任务中表现出色，为计算机视觉领域的计数相关应用——如自动驾驶中的障碍物计数、医学图像中的细胞计数等——提供了强大的解决方案。