想象一下老式邮局的分拣方式：邮局在大厅里预先摆满了几百个“试探信箱”（anchors），每来一封信都要先投进每个试探信箱试试，看哪个信箱的大小、朝向最合适，然后人工核对所有信箱，去掉重复投递（NMS），最后才把信送到真正的收件人手里。这套流程繁琐、低效，而且每次摆信箱的位置和大小全靠经验。而 DETR 像一位“超级分拣员”：他不用设计任何试探信箱，只站在全局视角扫一眼整个大厅，手里攥着一沓“目标查询卡”（object queries），就能一次性把每一封信直接放到正确的信箱里——整个过程端到端完成，不需要重复检查，不需要人工规则。这就是 DETR 带来的革命：目标检测从“先铺大量候选再筛选”变成“一步到位”。你将看到，这套魔法背后的核心技术是三件套：Transformer 架构、匈牙利匹配损失，以及一个聪明的“无 Anchor”设计。

岗位关联

学完 DETR，你将掌握让目标检测 Pipeline 从“多阶段后处理”蜕变为“端到端部署”的完整思路，这对 CV 工程师落地自动驾驶、工业质检等场景有直接的架构选型价值。

目录
  1. 可视化演示
  2. 传统检测困境
  3. DETR整体架构
  4. 匈牙利匹配损失
  5. Transformer应用
  6. 收敛速度问题
  7. Deformable改进
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示DETR无Anchor检测架构：CNN骨干提取特征、Transformer编解码器、匈牙利二分图匹配训练及Object Queries查询机制，交互切换理解端到端检测流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

整体架构：端到端无Anchor检测 CNN骨干提取图像特征，展平为序列输入Transformer编码器 解码器接收Object Queries，输出N个预测框直接匹配GT CNN → Encoder → Decoder → N predictions 无需NMS和Anchor设计，真正端到端。

传统检测困境

老邮局分拣大厅里，管理员先在每个过道摆满“试探信箱”——这就是 Anchor（锚点框）。Anchor 的尺寸和比例由工程师手工设定，常见配置要摆上几百个甚至上千个。每来一封信，邮局员工要把它依次和所有试探信箱比对“合不合身”（IoU 判定），然后选出最合适的再投递。这套流程有两个明显痛点：第一，试探信箱的量级太大，大多数信箱和信件不匹配，产生了大量负样本，导致训练时正负样本严重失衡；第二，同一封信可能被多个信箱判定为“合身”，造成重复检测，必须安排专人做“去重检查”——这就是 NMS（非极大值抑制）后处理。

NMS 的去重规则并不聪明：它依赖一个 IoU 阈值，大于阈值就认为两个框指向同一个目标，只保留得分最高的那个。一旦阈值设得不好，两个紧挨着的目标很容易被误删。更麻烦的是，Anchor 的设计、NMS 的阈值、正负样本的采样比例，这些超参数环环相扣，像一串多米诺骨牌，牵一发而动全身。

这一整套“先铺锚点、再筛、再去重”的流程，就像邮局员工每次投递都要反复核对、重复劳动。DETR 的初衷，就是取消这串多米诺骨牌。

IoU(bi,bj)=∣bi∩bj∣∣bi∪bj∣,若 IoU>Tnms 则抑制 bj\displaystyle \text{IoU}(b_i, b_j) = \frac{|b_i \cap b_j|}{|b_i \cup b_j|}, \quad \text{若 IoU} > T_{\text{nms}} \text{ 则抑制 } b_j
公式解读：IoU 度量两个框的重叠程度，NMS 将重叠超过阈值的低分框直接“淘汰”。
  1. 交集面积分子是两个框相交区域的面积，表示“两个试探信箱重合了多少”。
    bi∩bjb_i \cap b_j
  2. 并集面积分母是两个框覆盖的总面积，避免大框天然比小框更有优势。
    bi∪bjb_i \cup b_j
  3. 比值判定IoU 接近 1 表示两个框几乎完全重合，NMS 认为它们在描述同一个目标。
    IoU=交集并集∈[0,1]\text{IoU} = \frac{\text{交集}}{\text{并集}} \in [0,1]
  4. 阈值抑制当 IoU 超过预设阈值 $T_{\text{nms}}$ 时，得分较低的框被抑制删除。

DETR整体架构

现在换一位超级分拣员上岗。他不摆试探信箱，而是先站在大厅高处用“电子眼”扫一遍所有信件的位置（CNN 提取特征），再把整张“信件分布图”交给大脑做全局理解（Transformer 编码器），最后手里攥着一沓空白查询卡（object queries）——每张卡片最终会填写一个目标的信息。他把这些卡片一次性提交给投递系统，系统直接输出“哪封信送去哪个信箱”的完整清单。这个过程没有试探、没有去重，一步到位，所以叫“端到端”。

从技术上看，DETR 的检测头把问题定义成集合预测：模型一次性输出固定数量 $N$ 个预测（论文取 100），每个预测包含目标的类别和边界框。$N$ 要取得足够大，保证能覆盖图像中可能出现的所有目标。这 $N$ 个预测对应解码器里的 $N$ 个 object queries——它们是可学习的向量，在训练中逐渐学会“去图像中找目标”。

超级分拣员的高明之处，是通过“查询卡”直接生成最终答案。但这里有个关键问题：模型输出的 100 个预测，如何与图像里真实存在的几个目标“对上号”？这就需要下一节的最优配对算法。

y^=fθ(CNN(x), Q),y^={y^i}i=1N\displaystyle \hat{y} = f_{\theta}\big(\text{CNN}(x),\, Q\big), \quad \hat{y} = \{\hat{y}_i\}_{i=1}^{N}
公式解读：图像 $x$ 先过 CNN 提特征，再与查询集合 $Q$ 一起经过 Transformer，最终输出 $N$ 个预测元素组成的结果集合。
  1. 图像特征$x$ 是输入图片，CNN 把像素转化为高维特征图，相当于“电子眼”看到的信件分布。
    CNN(x)\text{CNN}(x)
  2. 查询集合$Q$ 是可学习的 $N$ 个查询向量，每个向量代表“我想找一个目标”。
    Q={qi}i=1NQ = \{q_i\}_{i=1}^{N}
  3. 端到端映射$f_{\theta}$ 是整个 Transformer 编解码器，将特征和查询映射为最终预测。
    y^=fθ(CNN(x),Q)\hat{y} = f_{\theta}(\text{CNN}(x), Q)
  4. 集合输出$\hat{y}$ 是 $N$ 个元素组成的集合，每个元素含类别和框坐标。

匈牙利匹配损失

婚庆公司安排宾客座位时，希望每一桌的搭配都尽最大可能和谐：每位宾客都有一张“不满意成本表”，婚庆公司要用一种算法找出让总不满度最小的座位安排。DETR 的训练也面临同样的“排座问题”：模型输出了 100 个预测，图像里只有 3 个真实目标，需要决定“哪个预测框对应哪个真实目标”。DETR 的做法是让匈牙利算法上门服务——它求解一个二分图最优匹配，找到总成本最低的一对一指派。

这里的成本不是座位不满度，而是“预测和真值的差距”：类别预测错了要记成本，框的位置偏移了也要记成本。匈牙利算法找出最优置换 σ̂ 后，再用这个配对结果计算最终的训练损失。正是这种“先匹配、后算账”的设计，让模型不需要 NMS——因为匹配天然是一对一的，不会出现两个预测框抢同一个目标的情况。

匈牙利匹配让每一个预测框都有明确的“岗位”，不再有模棱两可的重叠检测。但要让匹配质量高，模型必须先有强大的全局理解能力——这正是 Transformer 的用武之地。

LHungarian(y,y^)=∑i=1N[−log⁡p^σ^(i)(ci)+1ci≠∅Lbox(bi,b^σ^(i))]\displaystyle \mathcal{L}_{\text{Hungarian}}(y, \hat{y}) = \sum_{i=1}^{N} \Big[ -\log \hat{p}_{\hat{\sigma}(i)}(c_i) + \mathbf{1}_{c_i \neq \varnothing} \mathcal{L}_{\text{box}}(b_i, \hat{b}_{\hat{\sigma}(i)}) \Big]
公式解读：总损失由分类对数损失和边界框回归损失组成，求和是在最优置换 σ̂ 下进行的。
  1. 最优置换$\hat{\sigma}$ 是匈牙利算法找到的最优配对方案，把每个预测索引映射到唯一真值索引。
    σ^=arg⁡min⁡σ∑iCmatch(yi,y^σ(i))\hat{\sigma} = \arg\min_{\sigma} \sum_{i} \mathcal{C}_{\text{match}}(y_i, \hat{y}_{\sigma(i)})
  2. 分类损失$-\log \hat{p}_{\hat{\sigma}(i)}(c_i)$ 鼓励模型对匹配上的目标给出高置信度类别概率。
    −log⁡p^(ci)-\log \hat{p}(c_i)
  3. 空目标掩码$\mathbf{1}_{c_i \neq \varnothing}$ 是指示函数，只有真值类别不是“背景”时才计算框损失。
    1ci≠∅\mathbf{1}_{c_i \neq \varnothing}
  4. 框回归损失$\mathcal{L}_{\text{box}}$ 是 L1 损失与 GIoU 损失的线性组合，同时度量坐标绝对误差和框重叠质量。
    Lbox(bi,b^)=λL1∥bi−b^∥1+λGIoU⋅GIoU(bi,b^)\mathcal{L}_{\text{box}}(b_i, \hat{b}) = \lambda_{\text{L1}} \|b_i - \hat{b}\|_1 + \lambda_{\text{GIoU}} \cdot \text{GIoU}(b_i, \hat{b})

Transformer应用

超级分拣员为什么能一眼看清整厅信件？因为他能看到信件之间的相对关系：这封信在门边，那封在窗下，两封并排的信可能是同一个寄件人。传统卷积只能看局部邻域，而 Transformer 的自注意力机制允许任意两个位置直接“对话”，像分拣员把全厅信件的空间关系织成一张关系网。

DETR 的 Transformer 分两半工作。编码器吃下 CNN 特征图（展平成序列），通过自注意力让每个位置融合全局信息；解码器则接收 object queries 作为查询（Q），从编码器输出的特征中“检索”目标信息（K 和 V）。为了不让模型把图像当成无序袋子，还要加上位置编码，给每个位置一个“门牌号”，否则“门边的信”和“窗下的信”在序列里就分不清了。

有了全局注意力，分拣员才能在心中同时把握所有信件的相对位置。不过，这位新员工虽然能力出众，一开始却“上手很慢”——下一节讲讲他的职场瓶颈。

Attention(Q,K,V)=softmax(QK⊤dk)V\displaystyle \text{Attention}(Q, K, V) = \text{softmax}\Big(\frac{QK^{\top}}{\sqrt{d_k}}\Big)V
公式解读：查询 Query 与键 Key 计算相似度得到权重，再对值 Value 加权求和，权重决定“该看哪里”。
  1. 相似度计算$QK^{\top}$ 计算查询与所有键的点积，度量“查询卡和图像位置有多相关”。
    QK⊤QK^{\top}
  2. 缩放因子$\sqrt{d_k}$ 是键向量的维度开方，用来防止点积过大导致 softmax 梯度消失。
    QK⊤dk\frac{QK^{\top}}{\sqrt{d_k}}
  3. 权重归一化$\text{softmax}$ 把相似度变成总和为 1 的注意力权重，代表每个位置的贡献占比。
    softmax(⋅)\text{softmax}(\cdot)
  4. 加权求和最后与 $V$ 相乘，按权重融合各位置信息，得到注意力结果。

收敛速度问题

超级分拣员刚入职时有个毛病：训练他 300 轮还不熟练，老员工（Faster R-CNN）100 轮已经能独当一面，他却要 500 轮（在 COCO 数据集上）。为什么？原因之一是“监督信号太稀疏”——每轮训练只有被匈牙利匹配选中的少数查询卡能收到明确的梯度反馈，其余大多数预测框都对着背景，学不到太多东西。就像一个新人分拣员，绝大部分查询卡都是“空跑”，进步自然慢。

另一个问题是 DETR 对小目标不友好。Transformer 的特征图分辨率较低，小目标在特征图上只占一两个像素，全局注意力又容易被大面积背景“带偏”。分拣员如果只记住了大件包裹的位置，对角落里的明信片就视而不见。注意力熵可以度量这种“犹豫不决”的程度——当注意力分散到很多位置时，熵就很高。

超级分拣员的“高潜力低效率”让工程师们头疼。好在改进版终于学会偷懒了——他不再扫遍每个角落，只盯关键位置。

H(p)=−∑ipilog⁡pi\displaystyle H(p) = -\sum_{i} p_i \log p_i
公式解读：注意力分布的熵越大，说明模型“看得越散”；收敛良好的模型熵应该逐渐降低、聚焦关键区域。
  1. 分布定义$p_i$ 是注意力权重分布，值越大代表模型对位置 $i$ 的关注越多。
    pi∈[0,1],∑ipi=1p_i \in [0,1],\quad \sum_i p_i = 1
  2. 熵计算对所有位置的 $p_i \log p_i$ 取负求和，分布越均匀熵越大。
    −∑ipilog⁡pi-\sum_i p_i \log p_i
  3. 极端情况当注意力集中在一个位置，熵为 0；完全均匀分布时熵最大。
    H=0  ↔  绝对聚焦H = 0 \;\leftrightarrow\; \text{绝对聚焦}
  4. 训练趋势DETR 训练中观察熵的下降，能直观看到模型从“四处张望”到“紧盯目标”。

Deformable改进

进阶版超级分拣员（Deformable DETR）悟出了一个道理：投递信件不需要研究信纸的每个角落，只要看准地址栏和邮票就够了。他把这种“只采样关键点”的智慧带进了注意力机制——这就是可变形注意力。传统自注意力在每个特征位置都要对整张特征图做全局加权，计算量大且容易分散；可变形注意力则先从查询向量预测出 $K$ 个采样点位置（参考点加上可学习的偏移量），只在那些采样点上做加权求和，就像分拣员只扫一眼信封的地址栏就完成了判断。

Deformable DETR 还引入了多尺度特征融合：它同时使用 CNN 的多层特征图（类似 FPN），让大目标在低分辨率层、小目标在高分辨率层都能被有效采样。这两个改进带来立竿见影的效果：收敛轮数从 500 轮降至 50 轮左右，小目标检测精度明显提升，训练成本大幅降低。

从“全局扫视”到“关键点采样”，Deformable DETR 用极小的计算代价换来了更快的收敛和更强的性能。这位超级分拣员终于能上岗独当一面了。

DeformAttn(zq,pq,x)=∑m=1MWm∑k=1KAmqk⋅Wm′x(pq+Δpmqk)\displaystyle \text{DeformAttn}(z_q, p_q, x) = \sum_{m=1}^{M} W_m \sum_{k=1}^{K} A_{mqk} \cdot W'_m x(p_q + \Delta p_{mqk})
公式解读：对每个查询，在参考点 $p_q$ 附近预测 $K$ 个采样偏移，用归一化的注意力权重聚合采样特征。
  1. 参考点$p_q$ 是查询 $z_q$ 对应的参考位置，由网络从查询向量预测出来。
    pq=ϕ(zq)p_q = \phi(z_q)
  2. 采样偏移$\Delta p_{mqk}$ 是第 $m$ 个注意力头、第 $k$ 个采样点的偏移量，让采样点摆脱固定网格、自适应移动。
    Δpmqk=ϕoffset(zq)\Delta p_{mqk} = \phi_{\text{offset}}(z_q)
  3. 注意力权重$A_{mqk}$ 是归一化的注意力权重，决定每个采样点对聚合结果的贡献。
    Amqk∈[0,1],∑kAmqk=1A_{mqk} \in [0,1],\quad \sum_k A_{mqk} = 1
  4. 多头聚合对 $M$ 个注意力头、$K$ 个采样点加权求和，实现多个“分拣视角”的信息融合。
    ∑m∑kAmqk⋅x(pq+Δpmqk)\sum_{m} \sum_{k} A_{mqk} \cdot x(p_q + \Delta p_{mqk})

AI 应用场景

自动驾驶多目标感知

阶段：目标检测模型选型与部署

解决的问题：自动驾驶场景中的车辆、行人、骑行者检测常被 NMS 误删——两辆紧挨的车会被认为是一个目标，且 Anchor 的超参数在不同光照、不同距离下鲁棒性差。DETR 的一对一匹配从根源上消除了 NMS 的重复抑制问题，简化了感知 Pipeline。

具体案例：某自动驾驶公司尝试用 Deformable DETR 替换原有的 Faster R-CNN 检测器，在夜间拥挤路口的行人检测任务中，小目标召回率提升约 8%，且推理链路去掉 NMS 后延迟下降了 12%。

工业缺陷检测流水线

阶段：训练数据标注与端到端模型训练

解决的问题：PCB 板缺陷检测中，传统 Anchor 方案需要为每种缺陷尺寸手工设计锚点框，且微小裂纹属于极难匹配的小目标。DETR 直接输出集合预测，无需手工锚点，配合 Deformable 的多尺度特征能聚焦细小缺陷。

具体案例：某 3C 工厂用 DETR 检测电路板焊点缺陷，把标注流程简化为“只标缺陷框”（无需生成 Anchor 先验），模型在 5 类缺陷上的 mAP 从 71.3% 提升至 76.8%。

遥感图像目标计数

阶段：模型推理与后处理简化

解决的问题：遥感图像中密集车辆、船只数量庞大，传统检测器输出上千个候选框后 NMS 计算开销极高，且密集排列的目标易被合并。DETR 天然输出固定大小的预测集合，配合匈牙利匹配实现密集场景下的稳定检测。

具体案例：某卫星影像分析平台用 DETR 对港口船只计数，将每张影像的后处理耗时从 300ms 降至 0，准确率与人工标注的相关度达到 0.96。

Python 演示

python52 行
"""DETR 匈牙利匹配与端到端损失的小型模拟"""import numpy as npfrom itertools import permutations def box_iou(a, b):    """两组边界框的 IoU 矩阵, 输入形如 (N,4) 与 (M,4)"""    lt = np.maximum(a[:, None, :2], b[None, :, :2])    rb = np.minimum(a[:, None, 2:], b[None, :, 2:])    inter = np.clip(rb - lt, 0.0, None).prod(axis=-1)    area_a = (a[:, 2] - a[:, 0]) * (a[:, 3] - a[:, 1])    area_b = (b[:, 2] - b[:, 0]) * (b[:, 3] - b[:, 1])    union = area_a[:, None] + area_b[None, :] - inter    return inter / np.clip(union, 1e-9, None)  def build_cost(pred_boxes, gt_boxes, pred_cls, gt_cls):    """DETR 的配对成本: 类别误差 + 框的 IoU 差值"""    cls_cost = (pred_cls[:, None] != gt_cls[None, :]).astype(np.float32) * 5.0    reg_cost = 1.0 - box_iou(pred_boxes, gt_boxes)    return cls_cost + reg_cost  def optimal_matching(cost):    """穷举所有双射, 寻找全局代价最小的匹配 (小规模教学用)"""    n = cost.shape[0]    best_perm, best_cost = None, np.inf    for perm in permutations(range(n)):        total = cost[np.arange(n), list(perm)].sum()        if total < best_cost:            best_cost = total            best_perm = perm    return best_perm  def det_loss(pred_boxes, gt_boxes, pred_cls, gt_cls):    """端到端损失: 最优匹配下的分类损失 + 框回归损失"""    cost = build_cost(pred_boxes, gt_boxes, pred_cls, gt_cls)    perm = optimal_matching(cost)    row = np.arange(len(perm))    cls_loss = (pred_cls[row] != gt_cls[list(perm)]).astype(np.float32).mean()    giou_loss = (1.0 - np.diag(box_iou(pred_boxes[row], gt_boxes[list(perm)]))).mean()    return cls_loss + giou_loss, perm  if __name__ == "__main__":    pred_boxes = np.array([[10, 10, 50, 50], [80, 20, 120, 70], [30, 90, 70, 120]], dtype=np.float32)    gt_boxes = np.array([[12, 12, 52, 52], [82, 22, 122, 72], [32, 92, 72, 122]], dtype=np.float32)    pred_cls = np.array([0, 1, 0])    gt_cls = np.array([0, 1, 0])    loss, perm = det_loss(pred_boxes, gt_boxes, pred_cls, gt_cls)    print("最优匹配:", perm)    print("端到端损失:", round(float(loss), 4))
目的：演示 DETR 训练核心——先用匈牙利算法为预测框指派真实框，再在最优匹配下计算分类和回归损失。
  1. inter = np.clip(rb - lt, 0.0, None).prod(axis=-1)计算交集宽高并裁剪负值，再求面积，相当于计算两框“重合区域”的大小。
  2. union = area_a[:, None] + area_b[None, :] - inter用“面积A + 面积B - 交集”得到并集面积，这是 IoU 的分母。
  3. cls_cost = (pred_cls[:, None] != gt_cls[None, :]).astype(np.float32) * 5.0类别不匹配时给一个较大的成本惩罚，引导匹配避开门不当户不对的配对。
  4. total = cost[np.arange(n), list(perm)].sum()对每一种排列方案求总成本，穷举所有可能的一对一配对。
  5. if total < best_cost贪心地记录全局最小总成本，这正是匈牙利算法在穷举层面的等价实现。
  6. perm = optimal_matching(cost)求得最优置换 σ̂，确定“哪个预测框对应哪个真实框”。
  7. giou_loss = (1.0 - np.diag(box_iou(...))).mean()在最优配对下计算框回归损失，用 1-IoU 近似 GIoU，配对质量越好损失越低。

常见误区

误区“DETR 叫无 Anchor，所以它没有任何预设先验，从头开始学一切。”

正解DETR 移除了手工设计的 Anchor 和 NMS，但并非“零先验”。它的 object queries 是可学习的先验向量，训练后每个 query 会倾向于预测图像中某个位置和尺寸的目标，类似于“学出来的锚点”。无 Anchor 的本质是“免去手工设计”，而非“没有先验”。

为何常见：“无 Anchor”这个命名容易让人产生绝对化的理解，忽略了 Transformer 内部可学习参数自带先验能力。

误区“匈牙利损失里的匹配关系是神经网络通过反向传播学出来的。”

正解匈牙利算法是求解二分图最优匹配的离散优化算法，它不属于可学习参数，也不参与梯度传播。网络只负责输出预测框，匹配由匈牙利算法在前向过程中求解，再用匹配结果计算损失。类比来说，婚庆公司的“排座算法”是固定规则，不是新人学家。

为何常见：深度学习中一切都是“学出来的”这一思维惯性，让人误以为匹配网络也是学习得到。

误区“论文说端到端，所以推理时没有任何后处理操作。”

正解DETR 移除了 NMS 这类启发式去重后处理，但推理时通常仍会设置置信度阈值，过滤低置信度的背景预测。严格说，它移除的是“基于手工规则的重复抑制”，而非一切后处理。它是从“管线繁琐”变成“管线简洁”，不是“零操作”。

为何常见：“端到端”的宣传口径容易让人误以为推理时连阈值都不需要设置。

误区“500 轮才收敛，一定是 6 层编码器加 6 层解码器堆得太深了。”

正解收敛慢的主因是匈牙利匹配导致监督信号稀疏——每轮只有少数被匹配的查询能收到强梯度，绝大多数查询（甚至高达九成）都在学习“输出背景”。这与网络深度关系不大。Deformable DETR 的稀疏采样之所以能加速收敛，是因为它让注意力更快聚焦到目标区域，从而让有效监督更密集。

为何常见：人们习惯把训练慢归因于网络复杂度，但实际上 DETR 的瓶颈在“监督信号的分配”而非结构深度。

面试题

Q1. DETR 相对传统目标检测器最本质的区别是什么？

单选题 · easy

  • A.使用了 CNN 作为主干网络← 正确答案
  • B.实现了免 Anchor 免 NMS 的端到端检测
  • C.在 COCO 上精度更高
  • D.训练速度比 Faster R-CNN 更快

答案：A。DETR 的核心贡献是去掉 Anchor 和 NMS，把检测变成集合预测的端到端问题。A 是通用做法，C、D 都不成立——DETR 初期精度优势不大且训练更慢。

Q2. DETR 输出的预测数量由什么决定？

单选题 · easy

  • A.图像中目标的实际数量
  • B.预设的 object queries 数量← 正确答案
  • C.Anchor 的预设数量
  • D.特征图的网格大小

答案：B。DETR 固定输出 N 个预测（论文取 100），N 等于解码器中 object queries 的数量，不随图像内容变化。真实目标数远小于 N 时，其余预测被分类为背景。

Q3. 匈牙利匹配在 DETR 中的作用是什么？

单选题 · mid

  • A.对预测框做 NMS 去重
  • B.将预测框与真实框做最优一对一指派← 正确答案
  • C.对 Anchor 进行正负样本采样
  • D.加速 Transformer 的注意力计算

答案：B。匈牙利算法求解二分图最优匹配，把每个预测框指派给唯一真实框，使总匹配成本最小。这保证了一对一输出，从而取代 NMS。它不参与注意力计算，也不做样本采样。

Q4. DETR 的总损失由哪些部分组成？

单选题 · mid

  • A.分类损失 + L1 损失
  • B.分类损失 + L1 损失 + GIoU 损失← 正确答案
  • C.仅分类损失
  • D.仅框回归损失

答案：B。DETR 损失在最优匹配下计算，分类用负对数似然，框回归用 L1 与 GIoU 的加权和。单看 L1 或 GIoU 都不完整，A 缺少 GIoU。

Q5. DETR 训练收敛慢的主要原因是什么？

单选题 · mid

  • A.Transformer 网络层数太深
  • B.匈牙利匹配监督信号稀疏← 正确答案
  • C.多尺度特征图计算量过大
  • D.位置编码不合适

答案：B。每轮只有少数被匈牙利匹配选中的查询获得有效梯度，绝大多数查询学习输出背景，导致收敛慢。这也是 Deformable DETR 通过稀疏注意力聚焦目标来加速收敛的原因。

Q6. DETR 解码器中的 object queries 数量一般设为多少？

单选题 · mid

  • A.100← 正确答案
  • B.5
  • C.56
  • D.1024

答案：A。论文设定为 100，足够覆盖绝大多数图像中的目标数量上限。设太少会漏检，设太多会增加计算量，100 是精度与效率的折中。

Q7. 下列哪项技术被证明能显著缓解 DETR 的收敛慢问题？

单选题 · hard

  • A.增加编码器层数
  • B.匈牙利匹配提前终止
  • C.引入可变形稀疏注意力← 正确答案
  • D.增大学习率预热的步数

答案：C。Deformable DETR 用可变形注意力在关键位置稀疏采样，使模型快速聚焦目标区域，收敛轮数从 500 降至 50 左右。增加层数反而更慢，匹配提前终止没有意义。

Q8. DETR 中为什么可以用一个 Transformer 解码器级联输出来优化匹配？

单选题 · hard

  • A.每一层解码器都对上一层的预测做 NMS
  • B.各层共享监督信号，匹配随层数逐步细化← 正确答案
  • C.解码器层数越多，object queries 数量越多
  • D.解码器可以学习到更密的 Anchor

答案：B。DETR 在每层解码器后都计算预测并施加匈牙利匹配损失，相当于在不同细化阶段提供监督，让匹配逐步精准。这种辅助损失设计提速了收敛。

Q9. DETR 无需 NMS 的原因有哪些？

多选题 · mid

  • A.object queries 互相竞争，天然抑制重复← 正确答案
  • B.匈牙利匹配保证一对一输出← 正确答案
  • C.输出数量等于真实目标数量
  • D.使用了 GIoU 损失

答案：AB。DETR 的 queries 通过注意力互相通信，避免多个查询指向同一目标；训练时匈牙利匹配强制一对一。输出数量固定为 N 而非常等于目标数（C 错），GIoU 只影响框质量（D 错）。

Q10. Deformable DETR 做了哪些关键改进？

多选题 · hard

  • A.引入可变形注意力做稀疏采样← 正确答案
  • B.利用多尺度特征图增强小目标检测← 正确答案
  • C.保留了手工设计的 Anchor 机制
  • D.用卷积替代全部 Transformer 层

答案：AB。Deformable DETR 的核心是采样点偏移的多尺度可变形注意力，既降低计算量又加速收敛。它并未回到 Anchor 路线（C 错），也没有用卷积替换 Transformer（D 错）。