Anchor-free检测：CenterNet与FCOS

可视化演示

对比CenterNet中心点热力图检测与FCOS逐像素预测机制，切换模式观察两种Anchor-free检测范式的核心差异。

初识Anchor-free：放下格子，直接找宝

想象你是一位寻宝猎人，手里拿着一张老地图。老派的做法是：先在地图上铺满形状固定的透明纸框，有大有小、有横有竖，然后挨个翻开纸框找宝物。如果宝物刚好藏在某个框里就算找到；如果宝物比所有框都大，或偏偏落在两个框的交界处，就很容易漏掉。为了不漏宝，你只能多铺几层框，代价是大量白费功夫。在目标检测里，这些纸框就是“锚框”（Anchor）。模型先预设成千上万个不同大小和比例的框，再逐一判断每个框里有没有目标、需要怎么微调。锚框越多，计算量越大，而框的尺寸比例往往要靠人工经验或聚类得到，换一个数据集就要重新调。

Anchor-free 方法彻底扔掉了纸框：地图上哪里有宝，探测器就直奔哪里，然后顺手量出宝物的尺寸。这样既不用提前设计框的形状，也不会因为框太小而漏掉大目标。具体而言，Anchor-free 主要分成两条技术路线。一条像“定点扎针”——先找到目标中心点，再回归宽高，代表是 CenterNet；另一条像“全景勘测”——让特征图上的每个位置都预测自己到目标四条边的距离，代表是 FCOS。两条路线都跳过了“锚框匹配”这一步，因此训练时不需要计算锚框与真实框的匹配关系，代码更简洁，超参数也更少。

传统方法在训练时要反复计算锚框与真实框的“重叠程度”来选择正样本，这个重叠程度通常用交并比（IoU）衡量。Anchor-free 省掉了这层匹配，也就省掉了大量超参数调试。

$$\displaystyle \text{IoU} = \frac{|A \cap B|}{|A \cup B|} = \frac{S_{overlap}}{S_{anchor} + S_{gt} - S_{overlap}}$$

1. 重叠区域：锚框 A 与真实框 B 相交部分的面积，数值越大说明两者越贴合。

$$\displaystyle A \cap B$$

2. 并集区域：两框覆盖的总地盘面积，等于各自面积相加再扣掉重叠部分。

$$\displaystyle |A \cup B| = |A| + |B| - |A \cap B|$$

3. 比值含义：IoU 越接近 1，说明“纸框”和宝物轮廓越吻合；传统检测器正是靠它决定哪些锚框算正样本。Anchor-free 直接预测中心或距离，不再需要这套复杂匹配。

$$\displaystyle \frac{S_{overlap}}{S_{anchor} + S_{gt} - S_{overlap}}$$

回到寻宝的比喻：Anchor-free 不是帮你把纸框调得更准，而是直接告诉你“宝在哪里、有多大”。这正是它能在速度和部署上胜出的根本原因——把搜索问题变成了直接回答。

CenterNet：先钉中心点，再撑开框

想象你拿着激光笔走进藏宝山洞。老派猎人要在洞壁贴满透明格子胶带，一格一格找宝物。CenterNet 的猎人则举起激光笔扫过整面墙，哪里有宝物，墙面上就会亮起一簇光斑，光斑最亮的地方就是宝物中心。这簇光斑在深度学习中叫“中心点热力图”（heatmap）：网络为每个类别输出一张特征图，图上每个位置的值代表“这里有多大概率是某类目标的中心”，值越高峰越亮。

CenterNet 把目标检测完全转化成关键点检测任务。网络主干（如堆叠沙漏 Hourglass 或 ResNet）编码图像后，分出三个输出头：热力图头负责找中心峰，尺寸头负责在中心峰处回归目标的宽和高，偏移头负责修正因下采样导致的中心坐标取整误差。预测时，只需要在热力图上取数值最高的 K 个峰，再读出对应位置的宽高和偏移，就能直接拼出检测框。由于峰天然稀疏，CenterNet 在一般场景下可以完全省略 NMS，这是它极具吸引力的工程优势。

CenterNet 的训练损失由三部分相加而成，其中热力损失是核心，它让网络学会“哪里该亮、哪里该暗”。

$$\displaystyle L = L_{heat} + \lambda_{size} L_{size} + \lambda_{off} L_{off}$$

1. 热力损失：这是改进版的焦点损失（Focal Loss）。当某个位置确认为中心点时，鼓励预测值接近 1；当它不是中心但落在高斯软标签范围内时，惩罚按距离衰减，让模型把注意力集中在真正重要的峰上。

$$\displaystyle L_{heat} = -\frac{1}{N} \sum_{xyc} \begin{cases} (1-\hat{P}_{xyc})^{\alpha} \log \hat{P}_{xyc}, & P_{xyc} = 1 \\[4pt] (1-P_{xyc})^{\beta} (\hat{P}_{xyc})^{\alpha} \log(1-\hat{P}_{xyc}), & \text{otherwise} \end{cases}$$

2. 尺寸损失：中心峰位置还要回归出目标的宽高，用 L1 误差衡量预测宽高与真实宽高的差距。

$$\displaystyle L_{size} = \frac{1}{N} \sum_{k=1}^{N} \left| \hat{S}_{p_k} - s_k \right|$$

3. 偏移损失：下采样会引入亚像素精度损失，这个分量用来修正中心点坐标的偏移，让“钉子”钉得更准。

$$\displaystyle L_{off} = \frac{1}{N} \sum_{p} \left| \hat{O}_{\tilde{p}} - \left(\frac{p}{R} - \tilde{p}\right) \right|$$

4. 权重系数：论文中通常取 \(\lambda_{size}=0.1\)、\(\lambda_{off}=1\)，保证热力损失主导训练方向。

$$\displaystyle L = L_{heat} + 0.1 L_{size} + L_{off}$$

CenterNet 就像把“找宝箱”简化成“钉钉子”——中心点找准了，框自然就出来了；热力峰天然稀疏，也不需要 NMS 清场，整个后处理流程因此变得轻快。这也是它以“极简”著称的核心原因。

FCOS：逐像素报告距离

换个场景，你不再是猎人，而是拿着测距仪的测绘员。你不需要知道宝物在哪一格，只需要在图上每一个点停下来，用测距仪量出：这个点到目标左边多远、上边多远、右边多远、下边多远。每一个点都回答“四边距离”，所有落在目标内部的点连起来，就拼出了宝物的轮廓。FCOS 正是这样做的：在特征图每个位置，直接预测该位置到目标左、上、右、下四条边的距离，同时预测该位置的分类得分。这种“逐像素预测”的形式，让 FCOS 看起来更像一个语义分割网络，而不是传统检测器。

FCOS 有两个重要补充。一是“中心度”（centerness）分支：离目标中心越远的像素，预测的框质量往往越差，中心度给这些像素打低分，在最终解码时被过滤掉。二是多尺度预测（FPN 特征金字塔）：不同尺度的特征层分别负责不同大小的目标，让每个像素只在合适的尺度上做预测，显著减少重叠目标带来的歧义。训练时，FCOS 将所有位于目标框内的像素都视为正样本，用分类损失、回归损失和中心度损失联合优化。

FCOS 的回归目标可以写成如下形式：

$$\displaystyle (l^{*}, t^{*}, r^{*}, b^{*}) = (x - x_0, \; y - y_0, \; x_1 - x, \; y_1 - y)$$

1. 左右距离：像素点横坐标到目标左边界和右边界的距离，对应“左右量尺”。

$$\displaystyle l^{*} = x - x_0, \qquad r^{*} = x_1 - x$$

2. 上下距离：像素点纵坐标到目标上边界和下边界的距离，对应“上下量尺”。

$$\displaystyle t^{*} = y - y_0, \qquad b^{*} = y_1 - y$$

中心度通过左右比和上下比来定义：

$$\displaystyle \text{centerness}^{*} = \sqrt{\frac{\min(l^{*}, r^{*})}{\max(l^{*}, r^{*})} \times \frac{\min(t^{*}, b^{*})}{\max(t^{*}, b^{*})}}$$

1. 左右比值：左右距离的比值落在 (0,1] 区间，越靠近中心越接近 1，越靠近边缘越接近 0。

$$\displaystyle \frac{\min(l^{*}, r^{*})}{\max(l^{*}, r^{*})}$$

2. 上下比值：上下距离同样取比值，衡量垂直方向上的居中程度。

$$\displaystyle \frac{\min(t^{*}, b^{*})}{\max(t^{*}, b^{*})}$$

3. 相乘开方：两个方向的居中程度综合起来就是“中心度”，只有接近 1 的像素才被保留为高质量检测框。

$$\displaystyle \sqrt{\frac{\min(l^{*}, r^{*})}{\max(l^{*}, r^{*})} \times \frac{\min(t^{*}, b^{*})}{\max(t^{*}, b^{*})}}$$

FCOS 的哲学是“每个像素都是侦察兵”，让每个点都主动上报自己的位置感，最后用中心度筛选可信的点，拼出宝物形状。因此它在密集小目标和多尺度场景下表现尤为出色。

架构对比分析：结构、标签与设计哲学

同样是寻宝，CenterNet 猎人带的是中心定位仪，FCOS 测绘员带的是全图测距尺，两者探测装备和策略截然不同。结构上，CenterNet 基于关键点估计：主干网络输出热力图、宽高、偏移三个头，每个目标只对应一个中心峰。FCOS 则更接近语义分割的“全卷积逐像素”结构，输出分类、回归距离、中心度三个分支，每个目标内部的像素全部参与预测。这种结构差异直接决定了标签分配策略：CenterNet 的正样本是“目标中心点”，一个目标只喂一个点；FCOS 的正样本是“目标框内所有像素”，一个目标可能贡献几十上百个训练点。

设计哲学的不同带来了各自的优劣。CenterNet 的正样本极少，训练和解码都非常轻量，后处理几乎为零，部署路径最短；但它的思路是“先有峰再有框”，如果中心峰被遮挡或两个目标中心重叠过近，就可能漏检或合并。FCOS 的正样本极多，召回能力更强，配合 FPN 和中心度在精度上很有竞争力；但训练时要处理海量像素点，后处理仍需一定量的 NMS，工程链路相对更重。两者正样本数量的巨大差异，可以直观地用公式对比：

$$\displaystyle N_{pos}^{CenterNet} = N_{obj}, \qquad N_{pos}^{FCOS} = \sum_{i=1}^{M} \left\lfloor \frac{h_i}{s} \right\rfloor \times \left\lfloor \frac{w_i}{s} \right\rfloor$$

1. CenterNet 正样本数：等于目标实例总数，因为每个目标只取一个中心点作为正样本。

$$\displaystyle N_{pos}^{CenterNet} = N_{obj}$$

2. FCOS 正样本数：对每个目标，将其在特征图上的高、宽相乘，得到它覆盖的像素数量；\(s\) 是下采样步长，高宽需要先除以步长再取整。

$$\displaystyle \left\lfloor \frac{h_i}{s} \right\rfloor \times \left\lfloor \frac{w_i}{s} \right\rfloor$$

3. 量级差异：CenterNet 正样本量级是“几十个目标”，FCOS 正样本量级是“上万个像素”，训练与后处理的开销因此拉开差距。

$$\displaystyle \sum_{i=1}^{M} \left\lfloor \frac{h_i}{s} \right\rfloor \times \left\lfloor \frac{w_i}{s} \right\rfloor$$

所以没有绝对的优劣：想要极简部署流程，CenterNet 是首选；想要密集场景下的高精度，FCOS 更能打。选谁，取决于你的“藏宝洞”长什么样。

后处理变轻：卸下锚框与NMS重担

寻宝结束后，老派猎人要带着几万张纸框去登记台账：哪个框里的宝物跟哪个框重叠了、哪些记录要删掉……这些繁重的收尾工作就是后处理。Anchor-free 猎人回到家只需翻几页笔记，因为一开始就没贴纸框。传统检测器在推理时要先生成大量锚框（常见几万到十几万个），逐个回归后再用 NMS 去重；CenterNet 直接用峰值提取得到最终框，常规场景完全省略 NMS；FCOS 虽然仍会用到 NMS，但候选框经过了中心度过滤，数量远少于锚框方法的候选量。

从流程上看，三者差异非常清晰。传统流程是：图像 → 主干网络 → 锚框生成 → 分类/回归 → 海量候选 → NMS 去重 → 结果。CenterNet 流程是：图像 → 主干网络 → 热力图峰值 → 读取宽高偏移 → 结果。FCOS 流程是：图像 → 主干网络 → 分类/距离/中心度 → 中心度过滤 → 轻量 NMS → 结果。每一步的简化，都直接转化为延迟的降低和部署的便利。在自动驾驶、移动端等实时场景中，这种“卸重”意味着可以把省下的算力分配给更好的主干网络。

从计算复杂度上看，NMS 的数量级变化非常直观：

$$\displaystyle O(\text{NMS}_{traditional}) = O(n^2), \qquad O(\text{decode}_{CenterNet}) = O(n)$$

1. 传统 NMS 复杂度：对 \(n\) 个候选框两两计算 IoU，候选上万时是平方级开销，这也是检测器推理时的主要瓶颈之一。

$$\displaystyle O(n^2)$$

2. CenterNet 解码复杂度：只需对热力图做一次线性扫描取出 Top-K 峰，复杂度与像素数成正比，几乎零额外成本。

$$\displaystyle O(n)$$

3. 端到端延迟：总延迟约等于主干网络耗时加上解码耗时，解码部分大幅缩短后，整体延迟显著下降。

$$\displaystyle T_{total} = T_{backbone} + T_{decode}$$

后处理越轻，模型越好部署。这正是 Anchor-free 在移动端和实时系统里大受欢迎的原因——省下的每一毫秒，都能转化为更好的用户体验或更高的系统吞吐。

性能与选型：数据说话，按需取用

回到营地，两位猎人交上各自的战利品清单。在 COCO 数据集上，CenterNet 使用 Hourglass-104 主干可达到约 42% 的 AP，其优势在于流程极简、部署极快；FCOS 使用 ResNeXt-64x4d-101 + FPN 可达到约 44.7% 的 AP，精度上更胜一筹，但也更依赖强主干和多尺度设计。需要强调的是，这些数字反映的是“特定主干 + 特定配置”下的表现，换了轻量主干后排名可能反转。真正决定选型的，是业务场景本身。

选型可以按以下思路来权衡。精度敏感型任务（安防小目标、工业缺陷检测）优先选 FCOS + 强主干 + FPN，多尺度策略对大小不一的缺陷更友好。延迟敏感型任务（自动驾驶感知、移动端检测）优先选 CenterNet + 轻量主干，极简后处理能在有限算力下跑出更高帧率。此外还要考虑研发效率：CenterNet 无需 NMS、无需锚框聚类，代码路径最短；FCOS 的超参数略多，但精度上限更高。部署时则要对照芯片算力实测延迟，用“精度-延迟”综合打分来做最终决策。

一个实用的选型思路是给精度和延迟分别设定权重，用综合分数代替直觉判断：

$$\displaystyle \text{Score} = w_{1} \times \text{AP} - w_{2} \times \text{Latency}$$

1. 精度项：AP 是 COCO 风格的平均精度，衡量检测能力的核心指标。

$$\displaystyle \text{AP}$$

2. 延迟项：端到端单帧推理耗时，包含预处理、主干、解码与后处理全部时间。

$$\displaystyle \text{Latency}$$

3. 权重调节：\(w_1\) 和 \(w_2\) 根据业务需求设定——需要高精度就调大 \(w_1\)，需要实时性就调大 \(w_2\)，最终得分最高者胜出。

$$\displaystyle w_{1}, w_{2}$$

最终，选哪个不是“哪个更好”的问题，而是“探险地需要什么”的问题。Anchor-free 的两种路线把精度与速度的权衡选择权，交还到了工程师手中。

AI 应用场景

Python 演示

import numpy as np  def build_heatmap(shape, centers, sigma=6):    """为每个目标中心生成一个高斯峰，模拟CenterNet的预测热力图"""    H, W = shape    heatmap = np.zeros((H, W), dtype=np.float32)    yy, xx = np.mgrid[0:H, 0:W]    for cx, cy in centers:        heatmap += np.exp(-((xx - cx) ** 2 + (yy - cy) ** 2) / (2 * sigma ** 2))    return heatmap  def build_size_map(shape, centers, sizes):    """在目标中心位置填入预测的目标宽高"""    H, W = shape    size_map = np.zeros((H, W, 2), dtype=np.float32)    for center, size in zip(centers, sizes):        cx, cy = center        size_map[cy, cx, 0] = size[0]        size_map[cy, cx, 1] = size[1]    return size_map  def decode_centernet(heatmap, size_map, topk=3, min_score=0.3):    """CenterNet式解码：取TopK峰值，读出宽高，还原出检测框"""    flat_idx = np.argsort(heatmap.ravel())[::-1][:topk]    ys, xs = np.unravel_index(flat_idx, heatmap.shape)    boxes = []    for y, x in zip(ys, xs):        if heatmap[y, x] < min_score:            continue        w, h = size_map[y, x]        boxes.append((x - w / 2, y - h / 2, x + w / 2, y + h / 2))    return boxes  def main():    shape = (64, 64)    centers = [(20, 30), (45, 15), (50, 50)]    sizes = [(12, 8), (16, 10), (10, 14)]     heatmap = build_heatmap(shape, centers, sigma=6)    size_map = build_size_map(shape, centers, sizes)     rng = np.random.default_rng(0)    heatmap = heatmap + 0.05 * rng.standard_normal(shape)     boxes = decode_centernet(heatmap, size_map, topk=3)    print("检测到的目标框（x1, y1, x2, y2）:")    for box in boxes:        print(" ", box)  if __name__ == "__main__":    main()

1. heatmap += np.exp(-((xx - cx) ** 2 + ...))在每个目标中心周围生成一个高斯峰，模拟网络预测的热力图输出
2. np.argsort(heatmap.ravel())[::-1][:topk]把二维热力图展平后按分值排序，取前 K 个峰值索引
3. np.unravel_index(flat_idx, heatmap.shape)将一维索引还原为二维坐标，得到峰的 (x, y) 位置
4. if heatmap[y, x] < min_score: continue过滤低于阈值的弱峰，相当于用分数做简单筛选
5. w, h = size_map[y, x]从尺寸图中读出该中心点的目标宽高，这是“先钉中心再撑框”的关键
6. boxes.append((x - w / 2, ...))由中心坐标与宽高拼出左上角和右下角，还原完整检测框

常见误区

面试题