时序动作提案：在长视频里找出动作片段

可视化演示

任务概述：先圈出“可疑时段”

酒店深夜失窃，刑警小李抱回一整晚的监控录像。整整 12 小时，大部分画面都安安静静，只有几个时段有人影晃动。老刑警教他一招：先别急着逐段辨认谁在干什么，让技术助手把“画面有明显动静”的时段全部圈出来，列成一张可疑时段清单。这个“先圈可疑时段”的助手，就是视频理解中的时序动作提案（Temporal Action Proposal，简称 TAP）。

给定一段未剪辑的长视频，TAP 的输出是一组候选时间区间 [起点，终点]，每个区间都“可能包含一个动作”。它不负责判断区间里是打架、奔跑还是挥手——那是后续动作检测（Temporal Action Detection，简称 TAD）的任务。正因为先有提案把“发生在哪”粗筛出来，再做“是什么动作”的精判，整套系统才不至于在浩如烟海的帧里大海捞针。

为什么要把任务拆成两步？因为长视频里的动作极其稀疏：一段 2 小时的素材，真正含动作的时间可能只有几十秒。若直接对每一帧做分类，正负样本严重失衡，计算量也难以承受。提案阶段的任务是“高召回”——宁可多列几个可疑时段，也不要漏掉真正的动作；随后分类阶段再逐段确认，从而兼顾效率与精度。评价一个提案圈得准不准，需要一把刻度尺，这就是时序交并比（tIoU）。

回到刑侦现场：tIoU 就是“嫌疑时段”与“真实案发时段”重合度的尺子。圈得越贴边，后面的侦查工作就越省力；圈得离谱，再好的审讯技巧也无从下手。

锚点法：备好不同长度的“时间尺”

刑侦队里最朴素的排查法，是把 12 小时录像按 30 秒、2 分钟、8 分钟切成一个个格子，把每个格子都当成一个潜在的可疑时段。这个办法笨，但可靠——只要尺子够密、够全，总有一把能套中真正的案发段。

锚点法（Anchor-based Method）背后的直觉正是如此：预先定义一组锚点（Anchor），每个锚点由“中心位置 c + 长度 l”描述。锚点沿时间轴滑动并覆盖多种尺度，就像把不同刻度的尺子铺满整条录像。锚点的数量越多、尺度越丰富，越能覆盖长短不一的动作：1 秒的挥手有 1 秒的尺子，1 分钟的扭打有 1 分钟的尺子。

锚点法在思想上与目标检测中的 Faster R-CNN 一脉相承——二维的“锚框”被压扁成一维的“时间区间”。实施时，通常按若干尺度与步长在时间轴上密集摆放锚点，每个锚点对应一个候选提案，数量常常成千上万。锚点铺得越满，漏检越少，但大量重叠和粗糙边界也随之而来，因此锚点法几乎总是和边界回归、筛选后处理绑定在一起。

尺子多的好处是不怕动作长短不一，代价是“宁可错杀一千”——原始锚点输出往往粗糙、冗余，必须交给边界回归去打磨。

边界回归：把“大约两点到四点”修正到“2:13:05 到 3:47:22”

用尺子量出来的范围是粗的：“大约下午 2 点到 4 点”——但监控里真正可疑的时段是 2:13:05 到 3:47:22。粗网格要变成精准区间，靠的是边界回归。它就像刑警在初筛清单上补写的批注：“重点看 2 点 13 分前后。”

边界回归（Boundary Regression）对每个锚点预测一组偏移量：起点相对锚点中心的偏移、终点相对锚点中心的偏移。偏移量用锚点长度 l 做归一化，让不同尺度的锚点拥有可比较的回归目标——不管尺子长 1 秒还是 1 分钟，偏移量都被压到相近的数值范围，模型更容易学。

训练时，我们已知每个锚点对应的真实动作边界 g_s、g_e，用 Smooth L1 或 MSE 损失让预测偏移逼近真实偏移；推理时，把预测偏移反推回绝对时间戳。这一步让提案从“大约两点到四点”细化到“2:13:05 到 3:47:22”，在锚点法流水线中几乎是标配。

就像刑警在初筛清单上补写“重点看 2 点 13 分前后”，边界回归把时间窗口从“大概”校准到“精确”，为后续取证省下大量时间。

自底向上：先逐帧打分，再拼接嫌疑段

另一路做法完全不同——不预设任何尺子，而是让助手把每一分钟甚至每一秒都标上“有没有动静”，再把连续“有动静”的片段拼成一条可疑时段。这种先逐点判断、再拼接组装的思路，叫自底向上（Bottom-up）。它像值班保安盯着屏幕，每一秒记录“有人影、没人影”，报警器连成一条线就成了嫌疑段。

自底向上的核心概念是动作性分数（Actionness Score）：每个时序位置属于动作的概率。视频先经过特征提取器（如 I3D、SlowFast）变成特征序列 h_t，再通过一个打分层得到 s_t。s_t 由 sigmoid 函数压到 (0, 1)，表示“这一帧像不像动作的一帧”。训练时用动作片段的标注做监督，让含动作的帧分数高、背景帧分数低。

推理时给定一个阈值，把连续高于阈值的帧连成段，过滤掉太短的碎片，就得到一组提案。自底向上方法不需要预定义锚点，对任意长度的动作都更灵活，但分数预测的质量决定了提案上限——如果网络把“风吹树叶”都当成高动作性，候选质量就会直线下降。

保安逐秒报告“有人影、没人影”，报警器连成一条线就成了可疑时段。这种拼图式方法不依赖固定尺码，长短事件都能还原，正是它最大的优势。

BMN模型：把“开头候选”和“结尾候选”配对

如果刑侦队有一套更聪明的系统，它会先把“哪些时刻像是案发开始”和“哪些时刻像是案发结束”分别列成两张表，再把开头和结尾一一配对。BMN（Boundary-Matching Network）正是这套系统的经典实现，它把“掐头去尾”的配对工程做到极致。

BMN 有一个时序评估模块（TEM），为每个时刻输出三个分数：作为动作起点的概率 P_start、作为动作终点的概率 P_end、以及动作性分数。另一个关键设计是边界匹配（Boundary Matching）：对任意起点 i 和终点 j，用一个匹配概率衡量“从 i 开始、到 j 结束”的候选是否可信——起点越“像开头”、终点越“像结尾”，这个候选越可信。

由此可以得到一张 T×T 的边界匹配图（BM 图），图中每个格子对应一个候选区间。再通过提案评估模块（PEM）逐格回归置信度，最后按置信度排序并做非极大值抑制（NMS），输出 top-K 提案。BMN 在 ActivityNet 数据集上取得了领先的定位精度，成为后续许多工作的基线。

把“可能开头”和“可能结尾”配对，就像把案情片段的两端拼图对上茬——两头都像，才敢写进可疑时段清单。BMN 把这种配对做成了一张巨大的概率表，工程上非常优雅。

Actionformer：指挥官全局通读

还有一种更高阶的思路：不依赖局部配对，而是让系统像一位站在监控墙前的指挥官，把整段录像“通读”一遍，让相距很远的画面在脑中相互参考。这正是 Actionformer 背后的哲学——目光所及，皆是案情线索。

Actionformer 把视频特征序列当作 Transformer 的输入，用自注意力让任意两个时刻直接交互，从而建模长程依赖。相比卷积只能看到局部邻域，注意力机制能把“开头 30 秒的入场”与“10 分钟后的出手”关联起来。这对长视频中的慢热动作、多阶段动作尤其重要：一个动作从酝酿到爆发可能跨越几十秒，局部窗口根本装不下。

具体做法上，视频特征加上位置编码后送入多层 Transformer，结合局部与全局的多尺度结构，输出每个时刻的起止概率；再以阈值筛选加 NMS 得到最终提案。它不需要手工锚点，也不依赖逐帧拼接，靠全局注意力一次性建模整段上下文。团队在 2022 年 CVPR 发表这项工作后，它迅速成为长视频动作定位的新一代强基线。

指挥官不必盯住每一秒，但每一秒的信息都会被其他时刻“看见”。全局通读带来的长程视野，让那些前后呼应、慢热展开的动作片段也能被完整圈出来。

评价与优化：给提案助手打分

提案助手干得好不好，刑侦队长要考核两件事：有没有漏掉真正的案发时段？列出的可疑时段里有多少是废话？这正是召回率（Recall）与精度（Precision）的权衡，而在提案任务里，漏掉真凶比多列几条线索更致命，所以大家更看重召回率。

标准做法是算 Recall@N：把模型输出的提案按置信度排序，取前 N 个，看它们覆盖了多少真实动作。由于“覆盖”取决于 tIoU 阈值，研究者会在多个阈值（如 0.5、0.75、0.9）上分别计算召回，再取平均，得到平均召回率 AR（Average Recall），这是 ActivityNet 等主流数据集评估提案质量的标尺。

优化提案质量有四个常用抓手：一是 NMS 去冗余，避免几十个重叠框堆在一起；二是加入边界细化模块，把起止边界磨得更准；三是换更强的视频特征提取器，如从 I3D 升级到 VideoMAE；四是部署时对超长视频切窗处理，并缓存帧特征，控制内存与延迟。每一步都能实打实提升最终的动作定位效果。

一次完整的监控排查，最后看的就是“破案率”。提案阶段把可疑时段圈准了，后续检测与人工复核都能事半功倍。这套“先圈范围、再精确认定”的流水线，正是长视频理解最通用的地基。

AI 应用场景

Python 演示

import numpy as np  def simulate_actionness(n_frames=100, seed=42):    """模拟一段视频的逐帧动作性分数，动作段加高、背景段压低。"""    rng = np.random.default_rng(seed)    score = rng.rand(n_frames) * 0.15 + 0.03    for start, end in [(20, 40), (62, 80)]:        score[start:end] += 0.55 + 0.2 * np.sin(            np.linspace(0, np.pi, end - start))    return np.clip(score, 0.0, 1.0).round(3)  def build_proposals(score, threshold, min_len=4):    """自底向上：分数超过阈值的连续帧拼成一个候选提案。"""    mask = score >= threshold    proposals, i = [], 0    while i < len(mask):        if mask[i]:            j = i            while j < len(mask) and mask[j]:                j += 1            if j - i >= min_len:                proposals.append((i, j - 1))            i = j        else:            i += 1    return proposals  def temporal_iou(p, g):    """计算提案 p 与真实动作 g 的时序交并比。"""    s1, e1 = p    s2, e2 = g    inter = max(0, min(e1, e2) - max(s1, s2) + 1)    union = (e1 - s1 + 1) + (e2 - s2 + 1) - inter    return inter / union if union > 0 else 0.0  def recall_at_threshold(proposals, gt, tau):    """计算召回率：有多少真实动作被至少一个提案覆盖。"""    hits = 0    for g in gt:        if any(temporal_iou(p, g) >= tau for p in proposals):            hits += 1    return hits / len(gt)  def main():    gt = [(20, 40), (62, 80)]    score = simulate_actionness()    print("模拟动作性分数前 20 帧:", score[:20])    for threshold in [0.3, 0.4, 0.5, 0.6, 0.7]:        props = build_proposals(score, threshold)        r50 = recall_at_threshold(props, gt, tau=0.5)        r75 = recall_at_threshold(props, gt, tau=0.75)        print(f"threshold={threshold:.1f} proposals={len(props):2d} "              f"Recall@0.5={r50:.2f} Recall@0.75={r75:.2f}")  if __name__ == "__main__":    main()

1. for start, end in [(20, 40), (62, 80)]:指定两个真实动作区间，作为评估召回率的“标准答案”。
2. score[start:end] += 0.55 + 0.2 * np.sin(...)在真实动作段上叠加一个峰形高分，模拟网络预测出的动作性分数。
3. mask = score >= threshold阈值筛选，把浮点分数转成布尔掩码。
4. while i < len(mask):遍历掩码，寻找连续为 True 的区段。
5. if j - i >= min_len:过滤掉太短的碎片，防止把一两帧噪声当成提案。
6. inter = max(0, min(e1, e2) - max(s1, s2) + 1)求两个区间在帧维度的重叠长度。
7. hits / len(gt)真实动作被“覆盖”的比例，就是召回率。

常见误区

面试题