CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification

一句话总结
基于分类的人群计数方法把人数量化到实数区间,既与 CLIP 的预训练语料不一致,又在区间边界附近造成标签歧义;EBC 改用整数区间并加入基于密度图的损失,让这类方法在 UCF-QNRF 上的 MAE 最多改善 44.5%,基于 CLIP 的 CLIP-EBC 在 NWPU-Crowd 测试集上达到最优(MAE 58.2)。
摘要
我们提出 CLIP-EBC,这是第一个完全基于 CLIP、面向精确人群密度估计的模型。现有的基于分类的人群计数框架直接与 CLIP 结合时会遇到困难。例如,这些方法把计数值量化到相邻的实数区间里,与 CLIP 的预训练语料不一致;此外,这种量化方式还会在相邻区间的共享边界附近引入标签歧义。为解决这些问题,我们提出增强分块分类(Enhanced Blockwise Classification,EBC)框架,它使用整数区间,并额外加入基于密度图的损失,以进一步提高计数准确度。在这个与骨干网络无关的框架基础上,CLIP-EBC 充分利用 CLIP 的识别能力来做人群计数。实验表明,EBC 能将基于分类的方法在 UCF-QNRF 数据集上的平均绝对误差(MAE)最多改善 44.5%。此外,CLIP-EBC 在 NWPU-Crowd 测试集上达到最优性能,MAE 为 58.2,比之前的最佳方法好 8.6%。代码见 https://github.com/Yiming-M/CLIP-EBC。
引用
@INPROCEEDINGS{11209839,
author={Ma, Yiming and Sanchez, Victor and Guha, Tanaya},
booktitle={2025 IEEE International Conference on Multimedia and Expo (ICME)},
title={CLIP-EBC: CLIP Can Count Accurately through Enhanced Blockwise Classification},
year={2025},
pages={1-6},
doi={10.1109/ICME59968.2025.11209839}}