Count Anything

研究动机

• 现有计数数据集和模型大多针对人群、车辆和遥感目标等场景专门设计。这些设置使计数系统局限于特定视觉领域和目标类型。出处：§1 · p. 2

任务定义

• 通用计数模型应能接受自然语言目标描述，输出定位到实例的预测结果，并适用于六个多样化的视觉领域。这些领域包括 General Scene、Remote Sensing、Histopathology、Cellular Microscopy、Agriculture 和 Microbiology。出处：§1 · p. 2

数据挑战

• 异构标注包括框、点、掩码、多边形、标签图、组标签和忽略区域标注，因此带来了数据统一方面的挑战。这些标注规范源于不同的原始任务，无法直接统一用于通用计数。出处：§1 · p. 2

主要贡献

• CLOC 将多个公开数据源重新整理为统一的文本引导计数基准，包含约 220K 张图像、619 个类别和 15M 个实例。该基准覆盖六个视觉领域，为通用计数提供了数据基础。出处：§1 · p. 2

模型设计

• 离散实例点保留了局部计数证据，而双粒度枚举则将面向大型稀疏目标的区域级锚定与面向小型密集目标的像素级召回结合起来。这种设计避免将所有目标强行映射到单一表示，并弥补了检测方法和密度图方法的局限。出处：§1 · p. 2
• Count Anything 将 Text-Conditioned Encoder 与 Region-level Sparse Counter 和 Pixel-level Dense Counter 相结合，生成由目标条件化的实例点。最终计数由预测点集的基数得到。出处：§1 · p. 3

数据集动机

• CLOC 旨在弥补围绕特定场景或目标类型构建的数据集在跨领域支持方面的不足。该基准旨在支持跨类别、领域、目标尺度和密度分布的通用计数。出处：§2 · p. 3

数据集构建

• CLOC 围绕文本引导计数任务，整合了多个公开数据集中的图像、类别和实例标注。类别名称用作文本查询，使指定类别的计数成为一种具体的文本引导流程。出处：§2 · p. 3

点集表述

• Count Anything 根据图像和文本查询预测目标实例点，最终计数等于点集基数。每个预测点都包含位置和置信度分数，为计数提供空间依据。出处：§3.1 · pp. 3–4

文本条件编码

• 该框架采用文本条件编码器，为两个计数器生成目标条件的对象表征。在分别输入两个计数器处理前，编码器将多尺度视觉特征与查询表征融合。出处：§3.1 · p. 4, §3.2 · p. 5

互补枚举

• 两个分支相互补充：稀疏区域查询能够提供对象范围，但可能漏掉密集的小实例；密集点能提升覆盖率，却可能对边界明确的目标重复计数。推理时，Count Anything 使用 Complementary Count Fusion 合并两个分支的输出。出处：§3.1 · pp. 4–5

Region-level Sparse Counter

• Region-level Sparse Counter 预测候选目标区域，并将其中心作为大型、稀疏或边界明确对象的计数点。其区域查询预测前景 logits 和边界框，并以框中心作为计数点。出处：§3.3 · p. 5

Pixel-level Dense Counter

• Pixel-level Dense Counter 为小型、分布密集且边界不明显的对象生成离散候选点。它将目标条件特征与更高分辨率的视觉特征融合，将其转化为计数特征，并预测相对于密集网格锚点的偏移量和置信度。出处：§3.4 · pp. 5–6

监督

• 分支专属的一对一匹配在每个真值点附近对密集候选点进行局部监督，从而减少无关竞争，同时保留实例级监督。稀疏局部匹配避免为数量多得多的密集候选点构造完整匹配矩阵。出处：§3.4 · p. 6, §3.5 · p. 6

实验设置

• 使用 MAE、RMSE 和 NAE 在 CLOC 上评估 Count Anything，并与开放世界计数方法、检测模型和分割基础模型进行比较。CLOC 对比采用竞争方法官方发布的检查点和标准推理流程。出处：§4.1 · p. 8, §4.2 · p. 8

主要结果

• Count Anything 在 CLOC 上取得 9.34 MAE、33.34 RMSE 和 0.75 NAE，在六个视觉领域均优于对比方法。现有方法在专业领域中的误差较大，而 Count Anything 能在跨域计数中保持更稳定的表现。出处：§4.2 · p. 8
• 面对目标尺度和密度分布的显著差异，Count Anything 仍能保持稳定的计数结果。定性预测结果显示，在不同场景下，该模型的预测更接近真实标注。出处：§4.2 · p. 8

消融研究

• 论文将所报告的优势归因于双粒度计数，以及 CLOC 对类别、领域和目标密度分布的更广泛覆盖。论文还通过消融研究进一步考察这些因素。出处：§4.2 · p. 8

高密度人群计数

• 此外，模型还在 CLOC 测试划分中的 ShanghaiTech Part A 高密度人群计数子集上进行了评估。该评估针对极高密度分布和复杂的遮挡关系。出处：§4.2 · p. 8, Table 2 · p. 9

训练数据对齐

• 在 FSC-147 设置下训练 Count Anything 并在 CLOC 上评估，取得了 19.01 MAE 和 100.12 RMSE。该比较在训练设置一致的条件下，单独考察训练数据差异的影响。出处：RSC PDC DU CCF MAE RMSE · p. 9

RSC、PDC、DU、CCF

• 仅使用 RSC 或 PDC 的效果不如完整模型，因为两个计数器在不同目标尺度和密度分布下具有互补性。双计数器设计结合了区域级稀疏计数与像素级密集计数。出处：§4.3 · p. 9
• 直接合并 RSC 和 PDC 的输出会产生重复预测并导致更大的计数误差，而 CCF 的表现最佳。CCF 会消除两个分支之间局部重复的预测。出处：§4.3 · p. 9

以点为中心的监督

• 仅使用 GT 框作为目标并采用软分类目标，有助于以点为中心的监督；伪框和硬前景目标则会使结果变差。所有实例都接受点监督，但只有可靠的真实标注框用于几何监督。出处：§4.3 · p. 10

数据规模扩展

• 随着 CLOC 训练数据占比从 10% 增至 100%，MAE 和 RMSE 持续下降。完整训练集覆盖了更多类别、领域和密度分布。出处：§4.3 · p. 10

• 密度图适用于密集计数，但缺乏实例一一对应关系、置信度分数以及定位层面的误差诊断。出处：§A.1 · p. 17
• 基于检测的计数可为大型、稀疏或边界清晰的目标提供区域级证据，但难以处理小型、密集且边界模糊的对象。出处：§A.1 · p. 17
• 点回归可为密集或边界模糊的目标提供离散位置，但缺乏对象范围信息和区域级几何约束。出处：§A.1 · p. 17
• 本文提出将基于检测的区域锚定与基于点回归的密集枚举相结合，以实现通用的文本引导计数。出处：§A.1 · p. 17
• 现有通用方法仍难以同时支持文本引导的目标指定、实例定位计数、跨域泛化和对密集目标的召回。出处：§A.2 · p. 17

• 特定领域的数据集通常只覆盖单一视觉领域、有限类别或特定密度范围，因而限制了跨类别、跨领域的通用计数能力。出处：§A.3 · pp. 17–18
• 按类别条件划分的基准扩大了目标范围，但仍主要基于通用场景图像或有限的视觉数据源。出处：§A.3 · p. 18
• 构建通用数据集需要审查并重组多源标注，以实现一实例一计数监督。出处：§A.3 · p. 18
• CLOC 处理 crowd、group、ignore、NegativeROA 和 AMBIGUOUS 等数据源特有标签，同时将边界框、点、多边形、掩码、旋转框和标签图转换为统一的计数格式。出处：§A.3 · p. 18
• 实现中，Count Anything 使用冻结的预训练编码器参数和可训练的 LoRA 适配器进行训练，并采用相邻锚点间距为 7 像素的密集网格。出处：§B.1 · p. 18

计算效率

• Count Anything 包含 848.62M 个参数，单次前向传播需要 5.44 TFLOPs，在 RTX 5090 上的延迟为 68.51 ms。出处：§B.2 · p. 19, Table 7 · p. 19

以点为中心的监督

• 移除 RSC point、box 或 GIoU 损失，会削弱点定位或区域级几何监督。出处：§B.2 · p. 19, Table 8 · p. 19

PDC 特征适配器

• 完整的 3 块残差 PDC 特征适配器性能最佳，在像素级密集计数上的表现优于更浅或未使用适配器的情况。出处：§B.2 · pp. 19–20, Table 9 · p. 20

CCF 重复项处理

• 默认的 CCF 设置采用 Ks = 1，将距离最近的 PDC 候选与每个保留的 RSC 候选分组，以处理重复预测。出处：§B.2 · p. 20, Table 10 · p. 20

IoM 阈值

• 在所分析的重复项移除实验中，IoM 阈值为 0.5 时性能最佳。出处：§B.2 · p. 20, Table 11 · p. 20

PDC 候选密度

• 每个空间位置保留一个 PDC 候选，因为增加候选密度会使优化不稳定，并增加计数误差。出处：§B.2 · pp. 20–21, Table 12 · p. 21

Complementary Count Fusion

• RSC 为边界清晰的实例提供区域级锚点，PDC 则为融合结果恢复密集的点级预测。出处：§B.3 · p. 21
• CCF 抑制重复预测，并保留两个分支各自互补的预测，以形成最终点集。出处：§B.3 · p. 21

各领域比较

• 补充定性比较涵盖通用场景、遥感、组织病理学、细胞显微成像、农业和微生物学。出处：§B.3 · p. 21, Figure 6 · p. 22, Figure 7 · p. 23

比较方法

• 比较中包括 CountSE 和 GroundingDINO，以及 Count Anything 和其他列出的方法。出处：§B.3 · pp. 21, 26

目标查询

• 示例查询包括人头、蛋、牛、细胞核、上皮细胞核、淋巴细胞核和中性粒细胞核。出处：§B.3 · pp. 22, 24

数据集范围

• 通用计数数据集应覆盖多个视觉领域，并提供充足的图像、类别和实例，以支持通用模型训练。出处：§C.1.1 · p. 28

跨域覆盖

• CLOC 将公开数据重新整理为统一的类别指定计数基准，覆盖六大视觉领域。这些领域包括通用场景、遥感、组织病理学、细胞显微成像、农业和微生物学。出处：§C.1.2 · p. 28, §C.2.1 · p. 30

规模

• CLOC 包含约 220K 张图像、619 个类别和 15.356M 个实例，在类别和实例规模上超过现有通用计数数据集。出处：§C.1.2 · p. 29

目标计数分布

• 其更高的单图平均实例数和更大的标准差，拓宽了对不同计数难度和密度水平的评估范围。出处：§C.1.2 · p. 29

跨域覆盖

• CLOC 保留了不同领域间图像来源、成像风格、目标外观和视觉上下文的显著差异。尽管样本量少于通用场景和遥感领域，专门领域仍带来了视觉异质性。出处：§C.1.2 · p. 29, §C.2.1 · p. 30

类别分布

• 619 个类别呈长尾分布，而高频类别包含来自多个视觉领域的目标。这种组合支持从常见类别到低频类别的评估，同时不将高频目标局限于通用场景图像。出处：§C.2.2 · p. 31

目标计数分布

• CLOC 覆盖的目标计数范围从 1-5 到 1001+，既包含常见的低计数和中等计数场景，也包含目标密集场景。随着目标计数增加，样本数量减少，但仍收录了高计数和极度密集的场景。出处：§C.2.3 · p. 32

类别分布

• 构建已见类别组和未见类别组，以在更严格的语义划分下评估类别泛化能力。出处：§C.3 · p. 33

多源数据集收集

• 原始数据池汇集了通用场景、遥感、组织病理学、细胞显微成像、农业和微生物学领域的公开数据集。这些数据集最初用于检测、分割、人群计数、医学分析和表型分析等多种任务。出处：§C.3.1 · pp. 33–34

标注异质性

• 由于标注格式、类别定义、实例粒度和语义各不一致，无法直接合并不同来源的标注。出处：§C.3.1 · p. 34

计数资格审核

• 计数资格审核依据各数据源特定的协议处理人群、群组、忽略、困难、NegativeROA、无效类别和排除区域等标注。只有能够稳定对应到独立实例的标注才会进入统一转换流程。出处：§C.3.2 · pp. 34–35
• 对于相应的类别-图像对，排除 Objects365 的 crowd 标注和 Cityscapes 的 group 标注，因为它们可能代表无法分离或标注不完整的实例。出处：§C.3.2 · p. 35
• 保留 distractor = 1 的 JHU-CROWD++ 图像，因为该标签表示低计数或近似负样本场景，而非无法分离的标注。出处：§C.3.2 · p. 35
• 跳过包含忽略区域的 VisDrone 图像，因为这些区域内的目标未得到可靠标注。出处：§C.3.2 · p. 35

统一转换

• 将 JSON、XML、CSV 等不同来源协议转换为按图像组织、按类别索引的计数数据。通过点和边界框表示统一有效实例。出处：§C.3.3 · p. 36

类别整合

• 类别名称经过规范化处理，同义或近义表达被合并为统一的全局形式。出处：§C.3.4 · p. 37
• 对于边界含糊或含义类似区域的类别，若其不适用于稳定的实例级计数，则予以移除。遥感数据中的示例包括 harbor、Expressway-Service-area 和 overpass。出处：§C.3.4 · p. 37
• 语义类别组保留细粒度类别之间的关系，但不会将子类别直接提升为父类别。这样可避免假设父类别的所有实例都已完整标注，并支持已见/未见类别划分。出处：§C.3.4 · pp. 37–38

图像规范化

• 对高分辨率图像进行规范化处理，以降低统一流程中的内存、加载和渲染开销。出处：§C.3.4 · p. 38

衍生样本生成

• 裁剪和拼接样本在训练期间补充预设的中、高计数范围。裁剪用于提取局部密集区域；拼接则将同一领域中、计数类别相同的图像块组合起来。出处：§C.3.4 · p. 38
• 衍生样本尤其扩充了51-100、101-200和201-500个目标的计数范围覆盖，而原始样本仍是主要的数据分布来源。出处：§C.3.4 · p. 38, Figure 17 · p. 39

任务感知划分

• CLOC仅使用训练集原始图像生成裁剪和拼接图像，从而隔离衍生样本。验证集和测试集中不包含通过裁剪或拼接生成的样本。出处：§C.3.5 · pp. 39–40
• 所有数据集划分均覆盖六个视觉领域，并尽可能使各划分中的图像总体占比接近。这一约束与派生样本隔离和类别划分同时实施。出处：§C.3.5 · pp. 39–40
• 已见/未见类别评估会将语义相关的类别归为一组，而非仅依赖类别名称互不重叠。这能减少相邻类别带来的隐性数据泄漏，同时保留细粒度类别。出处：§C.3.5 · p. 40

划分统计

• 207.3K张训练图像、4.7K张验证图像和8.1K张测试图像分布于六个领域。这些划分分别包含586、77和78个类别，以及14.70M、278.4K和382.3K个实例。出处：§C.3.5 · p. 40, Table 17 · p. 40

评估指标

• MAE、RMSE和NAE分别衡量平均计数误差、对大误差的敏感度，以及不同计数规模下的相对误差。RMSE突出难例或高密度样本上的严重误差；NAE使用ϵ = 10^-6以避免除以零。出处：§C.4 · p. 41

评估任务

• 每个图像-类别对构成一个独立的文本引导计数样本，而不是联合统计图像中的所有目标。模型预测与指定类别查询相对应的实例。出处：§C.4 · pp. 40–41

数据集贡献

• CLOC 将多个来源的计数数据整合为一个覆盖六个视觉领域、目标密度多样的基准。其构建过程包括可计数性审核、异质标注转换、类别整合、衍生样本生成，以及面向任务的数据划分。出处：§D.2 · p. 42
• 约 220K 张图像、619 个类别和 15.356M 个实例，支持在跨域、长尾和密集目标场景下开展评估。该基准旨在评估传统计数能力，以及模型超越单一应用场景的泛化能力。出处：§D.2 · p. 42

局限性

• 由于不同公开数据集的采集条件、标注标准和类别粒度各异，CLOC 可能保留源数据中继承的噪声。例如边界不精确、实例遗漏，以及类别定义不一致。出处：§D.2 · p. 42
• 领域覆盖不均衡：通用场景和遥感领域的数据量大于四个专门领域。这种不均衡主要源于专门领域数据集中稳定的实例级标注较难获取。出处：§D.2 · p. 42
• 当目标密集、模糊、严重遮挡或边界不清晰时，大规模计数标注仍然困难。这些情况限制了全面实例级标注的构建。出处：§D.2 · p. 42