视频时序动作定位：从监控录像中揪出“偷快递”的 3 分钟

可视化演示

动态演示视频时序动作定位技术的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

任务定义：给监控录像贴便签

老陈交作业的形式，是一张标准格式的值班记录表：每一行有三栏——动作类别、时间起点、时间终点。比如“23:14–23:18，偷快递”和“01:02–01:06，搬箱子”。别看这张表简单，它恰恰定义了时序动作定位要解决的完整问题：面对一段没有剪辑、没有标记的长视频，自动找出所有动作发生的片段，写清楚“谁（什么动作）、从哪一秒开始、到哪一秒结束”。

在技术术语里，这条录像叫“未裁剪视频”（untrimmed video）——它不像短视频平台上的剪辑作品，而是连着录一整晚的原始素材，90% 以上的时间都是空荡荡的背景。时序动作定位（Temporal Action Localization）要做的，就是从这些“无聊画面”里，把动作实例精确地“抠”出来，输出一组记录：\(\{(c_i, s_i, e_i)\}\)，其中 \(c_i\) 是动作类别，\(s_i\) 和 \(e_i\) 分别是起始和结束时刻。它和常见的视频分类有本质区别：分类只回答“这段视频里有什么”，定位还要回答“这件事发生在哪一段时间”，后者显然难得多——因为动作的边界往往是模糊的，一个人“偷快递”从伸手那一刻算起，还是从眼睛盯上箱子算起？没有一刀切的答案。

那么，怎么评判老陈找得准不准？物业经理用一把尺子——时间交并比（tIoU），衡量预测片段与真实片段的重叠程度：

老陈心里清楚，经理拿着这把尺子，他报的片段必须和真实偷窃过程“重叠够多”才算有效命中。整个时序定位研究，本质上就是研究如何把这张值班记录表填得更准、更全、更稳。

方法演进：从人肉拖进度条到自动巡逻

老陈刚上岗时的办法很朴素：固定按 3 秒一档快进，每停一次就看一眼画面，判断“这一小段像不像偷快递”。这就是最早的“滑窗 + 分类”思路——把视频切成密密麻麻的候选小段，对每一段用人工设计的特征（如 HOG、光流 iDT）配合 SVM 分类器打分，分数高的就报出来。这个办法的缺点是显而易见的：窗口大小全靠猜，快进了怕漏，慢看了费眼，整晚下来老陈累得眼冒金星。

后来物业升级了工作流程，给老陈配了“两部曲”作业法：第一步，先快速扫一遍，把所有“可疑人影”的时间段都圈出来，哪怕圈得宽一点也没关系，这叫候选提案生成；第二步，对圈出来的每一段慢放细看，确认是不是偷快递、再把起止时间修精确，这叫分类与边界精修。这套“先粗筛、再复核”的思路，对应深度学习时代的“两阶段范式”（two-stage），它把“找到位置”和“判断类别”拆成两个环节，各司其职，精度一下子拉开了。

再后来，物业干脆装了一套全自动智能系统：摄像头捕捉的画面直接进网络，网络一口气输出“类别 + 起止时间”，中间不再有显式的候选圈选步骤。这就是“单阶段范式”（one-stage）和端到端方法——它们把整个定位过程变成一个可微分的整体，从原始特征一路优化到最终记录表。回看这条演进路径：从手工特征到深度特征，从两步走合并成一步走，从依赖人工设计的窗口、锚点到让模型自己学出动作的起止——老陈的三代工作方式，恰好就是时序动作定位领域十多年的技术缩影。

两阶段范式：先圈重点再细看

两阶段的老陈是这样工作的：晚上九点先以 4 倍速“速览”一遍录像，凡是捕捉到“有人鬼鬼祟祟地出现在货架附近”，就随手记下一个时间段——一晚上可能记下 25 段，其中很多是误报。接下来才是重头戏：从 25 段里逐段慢放，确认动作类别，修正起止点，最后只把确认无误的写进值班表。这套流程里的“速览圈段”就是提案生成（proposal generation），“逐段确认”就是动作分类与边界精修。

提案生成环节有一个铁律：宁可多圈，不可漏圈。因为一旦速览时漏掉某段，第二阶段再怎么仔细也找不回来——也就是说，第一阶段的召回率决定了整个系统的上限。为了让“圈段”这一步足够敏感，研究者设计了边界敏感网络（BSN，Boundary Sensitive Network）：它用时间卷积网络对每个时刻预测三个信号，分别是“动作从这里开始的概率”\(P_{\text{start}}\)、“动作在这里结束的概率”\(P_{\text{end}}\)，以及“这一段内容是动作而非背景的动作性分数”\(P_{\text{action}}\)。有了这三个信号，就可以组合出任意候选片段的置信度：

两阶段方法如同老陈“先速览后细看”的分工哲学，把召回和精度两个目标拆开优化，至今仍是时序定位领域影响力最大、精度最高的一类范式，代表作有 BSN、BMN，以及后续用图网络建模提案关系的 P-GCN 等。

单阶段范式：一步到位的自动报警

物业后来换了一套“傻瓜式 AI 摄像头”：它不像老陈那样先圈 25 段再逐一核实，而是盯着画面直接吐出一张值班记录表——类别、起点、终点一次到位。这就是单阶段范式：把未裁剪视频的特征序列送进网络，网络直接回归出所有动作实例，全程只有一个可端到端训练的模型，简洁而高效。

单阶段方法内部又分两派。一派叫“锚点机制”：就像老陈心里对“偷快递大概持续 5 到 10 秒”有个先验，网络预先铺设一批固定长度的时序锚点（如 4 秒、8 秒、16 秒），然后预测每个锚点区间内是否存在动作、动作类别是什么、以及真实边界相对锚点需要偏移多少——代表工作是 SSAD。另一派叫“无锚点方法”：干脆不预设长度，让模型直接预测每个时刻的动作概率以及到动作起止点的距离，代表作有 AFSD、GTAD，以及近年用 Transformer 直接输出实例的 ActionFormer。

为了让一步到位的同时不丢精度，单阶段方法通常要同时优化好几个目标：既要分对动作类别，又要卡准起点和终点，于是损失函数写成多任务加权和：

单阶段方法胜在结构简单、推理快，但就像老陈的自动摄像头偶尔会把“弯腰系鞋带”误报成偷快递一样，它在边界精细度上常常略逊于两阶段，因此许多工作会额外加上边界细化模块。速度与精度，永远是这对欢喜冤家之间的拔河。

特征建模：练就火眼金睛

老陈能一眼看出“那个人伸手的弧度跟平时取快递不一样”，靠的是多年夜班攒下的经验。换成算法，这份“火眼金睛”来自预训练的视频特征提取器。原始视频画面不能直接塞进定位网络——帧率太高、信息太冗余，所以业界先用在大规模视频数据集（如 Kinetics）上预训练好的 I3D 或 SlowFast 网络，把每几秒的画面压缩成一个特征向量，整段录像就变成了一条“特征序列”，形状为 \(T\times D\)。这一步相当于把 12 小时录像缩写成一张“剧情概要时间表”。

有了特征序列，接下来要在时间维度上“读懂”它。动作不是孤立的一帧画面，一个人伸手之前往往有张望，偷完东西之后往往有快速离开——这些上下文线索，需要专门的时序编码模块去捕捉。最经典的编码器之一就是双向 LSTM（BiLSTM），它从两个方向读序列，让每个时刻的隐藏状态同时包含“过去的来龙”和“未来的去脉”，更新公式如下：

除了 BiLSTM，现代方法也常用一维时间卷积和 Transformer 做时序编码；为了让模型同时适应“偷快递”这样几秒的短动作和“长时间盯梢”这样的长动作，还会构建多尺度特征金字塔（如 TPN）。特征工程做到位，定位模型就成功了一半——老陈的经验积累，正相当于 I3D 的预训练；哪怕换一个新小区，他适应两天就能上岗，因为“看人的底子”还在。

评价体系：物业给老陈打分

月底考核到了，物业经理拿着老陈交的值班记录表，逐一和监控回放核对：你报的 23:14–23:18，真实偷窃发生在 23:12–23:20，重叠比例 0.6，超过 0.5 的及格线，记一次有效命中；你报的 23:40–23:44，回放里根本没人，算误报一次。这个“够了才算对、多报要扣分”的考核逻辑，对应评估时序定位模型的两个经典指标：精确率（precision，报出来的里面有多少是对的）和召回率（recall，真实动作里有多少被报出来了）。

考核必须放在统一的考场上才有意义，这就是标准数据集。时序定位领域最常用的两个 benchmark 是 THUMOS14 和 ActivityNet-1.3：前者动作实例密集、难度大，后者视频时长长、类别约 200 类，都是“未裁剪长视频 + 精确秒级标注”的配置。所有论文都在这两个考场上按同一套规则答题，才能公平对比。

考场的计分规则是这样的：在不同的严格程度（tIoU 阈值）下各算一次平均精度（AP），再求平均，得到 mAP：

考核标准会反过来塑造工作方式：老陈知道经理只看 tIoU≥0.5 的命中，就会优先把模糊边界修准，而不是多报几个可疑段。研究也一样——指标在哪里，优化方向就在哪里。

应用场景：到处都是老陈

老陈这门“从长录像里找动作片段”的手艺，其实各行各业都在抢着要。第一个大场景是安防监控：商场、小区、工地的摄像头 24 小时不间断，过去出事后安保人员要翻几小时录像，现在部署时序动作定位模型，自动把“偷窃、跌倒、打架”等片段的起止时间推送到值班手机，人力复核成本降到原来的十分之一。第二个场景是体育赛事分析：一场 90 分钟的足球赛，转播团队要人工回看找“进球、犯规、越位”做集锦，而定位模型能以秒级精度自动切出高光片段，配合回放缓冲直接拼接，赛后 5 分钟就能上线集锦。第三个场景是内容审核：短视频平台每天上传海量长视频，逐帧审查成本极高，整条下架又容易误伤；先用定位模型锁定违规瞬间（危险动作、不当内容），再只剪切违规区间，既保内容安全又保创作者利益。

第四类场景是视频检索：用户想找“电影里所有跳水的画面”，系统先在片库的每部电影上离线跑一遍时序动作定位，建好“动作索引”，查询时直接返回起止秒和对应片段。这些场景的共性非常明显：素材是“长且杂”的未裁剪视频，目标是稀疏的秒级动作，代价敏感度高，而这一切正是时序动作定位的用武之地。老陈们的万千需求，催生了从算法研究到工程化部署的完整产业链——从模型训练、特征抽取加速，到流式推理、边缘部署，每个环节都有技术人忙碌的身影。

挑战前沿：老陈的三大烦恼

老陈也有头疼的时候。烦恼一是“看不动”：12 小时的录像，如果每一帧都要细细分析，哪怕是 AI 也扛不住算力开销。业内对策包括稀疏采样（每秒只抽 1-2 帧）、把长视频切成重叠分块处理，以及近年兴起的流式/在线定位——不等整段视频看完，边看边输出结果。烦恼二是“看不清”：深夜灯光昏暗，小偷的动作边界糊成一团，模型很难判断“伸手”到底从哪一帧开始。对策是前面讲过的多尺度金字塔、边界细化和上下文建模，让模型既看局部细节又看前后文。烦恼三是“没标签”：物业舍不得花钱雇人逐帧标注，只给一句“这盘录像里有偷窃”的粗标签——这就是弱监督时序动作定位，模型只能凭借视频级类别标签，利用类别激活序列等线索，自己摸索出动作可能出现的区域，难度陡增。

站在更前沿的位置，时序动作定位正在与多模态大模型合流：视频与文本的联合建模，让模型不仅能定位“偷快递”，还能理解“把快递从货架移到购物车”这种语义更细腻的描述；自监督预训练则让模型在无标注数据上先学“看片”，再在下游任务上微调。这些方向都指向同一个未来——像老陈一样，不仅能找到动作，还能真正“看懂”动作。老陈的烦恼，正是算法工程师的机会；谁能把这些烦恼一个个解决，谁就能把时序动作定位打磨成真正落地的生产力工具。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""滑窗 + 线性分类器 + NMS 实现最简单的时序动作定位演示"""import numpy as np np.random.seed(42)T, D = 60, 64           # 60 秒视频, 每秒 64 维特征feats = np.random.randn(T, D) * 0.1action_vec = np.random.randn(D) # 构造两段真实动作, 特征与 action_vec 方向一致gt = [("偷快递", 12, 20), ("搬货", 35, 41)]for _, s, e in gt:    feats[s:e] = np.random.randn(e - s, D) + action_vec def classify(seg):    avg = feats[seg[0]:seg[1]].mean(axis=0)    return float(avg.dot(action_vec)) def iou(s1, e1, s2, e2):    inter = max(0, min(e1, e2) - max(s1, s2))    union = (e1 - s1) + (e2 - s2) - inter    return inter / union if union > 0 else 0.0 def proposal(win, stride, thresh):    out = []    for s in range(0, T - win + 1, stride):        e = s + win        score = classify((s, e))        if score > thresh:            out.append((s, e, score))    return out def nms(props, thresh=0.5):    props = sorted(props, key=lambda p: -p[2])    keep = []    while props:        best = props.pop(0)        keep.append(best)        props = [p for p in props                 if iou(p[0], p[1], best[0], best[1]) < thresh]    return keep def evaluate(props, iou_thresh=0.5):    hits = 0    for s, e, _ in props:        for _, gs, ge in gt:            if iou(s, e, gs, ge) >= iou_thresh:                hits += 1                break    precision = hits / max(len(props), 1)    recall = hits / len(gt)    return precision, recall def main():    props = []    for win in (5, 8, 12):        props.extend(proposal(win, 2, 0.5))    props = nms(props)    precision, recall = evaluate(props)    print("滑窗得到候选: %d 个" % len(props))    print("精确率: %.2f, 召回率: %.2f" % (precision, recall)) if __name__ == "__main__":    main()

1. feats[s:e] = np.random.randn(e - s, D) + action_vec让真实动作时间段内的特征与“动作向量”方向一致，模拟画面里确实在发生该动作。
2. def iou(s1, e1, s2, e2):实现正文中的时序交并比公式，是判断“命中与否”的核心函数。
3. for s in range(0, T - win + 1, stride):滑窗枚举所有候选时间段，相当于老陈拖动进度条快进扫视。
4. if score > thresh:分类器得分超过阈值才保留，过滤掉大量背景片段。
5. props = sorted(props, key=lambda p: -p[2])按置信度从高到低排序，保证 NMS 优先保留最有把握的候选。
6. props = [p for p in props if iou(p[0], p[1], best[0], best[1]) < thresh]NMS 去重：与已保留片段重叠过多的候选直接丢弃。
7. precision = hits / max(len(props), 1)精确率：报出来的片段里有多少是真动作。
8. recall = hits / len(gt)召回率：真实动作里有多少没被漏掉。

常见误区

面试题