视频分类与表示：TSN/TSM时序模块

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

背景挑战：满汉全席的负担

视频分类的任务，就像美食评审要快速摸清一整桌宴席的底细。真正的宴席有几十道菜，而一段视频的“菜”是帧——30帧/秒意味着仅仅10秒的视频就端上来300张画面。如果把它们全部认真“吃”一遍，任何系统都会不堪重负。

如果用传统的2D CNN来做视频分类，等于把每一道菜都完整吃掉：逐帧提取特征再做判断。一段5分钟的视频有9000帧，模型要消化9000张图，计算量大得惊人。更麻烦的是，相邻帧之间的画面高度相似——就像同一道菜只是换了个摆盘角度，大量算力白白浪费在重复信息上。另一方面，2D CNN每次只看单张图，完全感受不到“动作的来龙去脉”。比如“倒水”这个动作，单看一帧只能看到一只手握着水杯，无法判断水是否在流动——时序信息丢失了。

于是有人想到用3D CNN：它同时处理时间和空间两个维度，一次“看”连续多帧，时序建模能力很强。但代价同样惊人——3D卷积核同时跨越空间和时间，参数和计算量成倍暴涨，就像为品尝每道菜都请一位精通“跨菜系融合”的顶级大厨，成本高昂。在移动端、边缘设备、实时审核等效率敏感场景中，这种开销难以承受。于是，“轻量级时序建模”成为刚需：既要控制算力，又要让模型“感知到时间”。

行业需要的是一种“聪明地吃”的策略——不必每道菜都吃完，也不必请顶级大厨，只需让普通厨师的每一口都带着前一口的余味。这正是TSN和TSM登场的契机。

TSN核心思想：分区域试吃，少量菜品定评价

顶级美食评审不会逐盘吃光，而是把整桌菜按位置分成几个区，每个区挑一口品尝，最后综合各区的风味给出整体评分。TSN（时间片段网络）正是这样做的：先把完整视频在时间轴上均匀分成K个片段，再从每个片段中随机采样一帧，得到K张“代表性画面”。

这K帧输入一个共享权重的2D CNN——所谓共享权重，就是K帧共用同一个“口腔”来品尝，模型参数量和单帧分类基本一致。各自输出对各类别（如“跑步”“游泳”“做饭”）的预测得分后，一个共识函数把所有片段的得分聚合成视频级的最终判断，最常见的是取平均。整个过程可以用一个公式概括：

被选中的K帧就像从不同区域夹起的一口菜，它们共同代表了整桌宴席的“平均水平”。由于视频相邻帧高度冗余，稀疏采样在保留关键视觉信息的同时，把计算量从N帧压缩到K帧——这就是TSN“少食多知”的秘诀。

TSN实现细节：试吃的学问

试吃也有讲究——如果只盯着最近的一盘菜猛吃，你评价的只是“眼前”而非“整桌”。TSN的采样策略强调均匀覆盖：将视频按时间均匀分成K段，每段内随机取一帧。K通常取3~8，K越大时间覆盖越完整，但计算量也线性增长。

为什么不用固定取中间帧？因为随机采样在训练时每次抽到的帧都不同，相当于天然的数据增强，让模型学会从不同时序位置提取判别性特征。这种“均匀分段+随机采样”的策略，就像评审每次试吃时都换一个角度观察同一道菜，越练越有经验。TSN采用共享权重的2D CNN骨干（如ResNet），K帧共享参数，端到端训练时所有片段一起反向传播，更新同一个网络。共识函数的选择也很有讲究：平均是默认选项，最大值对“某一个片段强烈判别”的场景更敏感，加权则允许不同片段有不同的重要性。

由于所有片段共享同一个网络，TSN的额外开销相比逐帧处理几乎可以忽略——总计算量约等于“单帧计算量×K”，比逐帧处理（N帧）降低了N/K倍。TSN还可扩展到多模态输入：同时使用RGB帧、光流图、音频谱作为不同“口味”的输入，分别走共享网络后在共识层融合，进一步提升分类鲁棒性。

TSN的端到端训练就像一个评审团队在一次次试吃中不断校准“评分标准”——所有片段共享一个大脑，每次试吃都让整个团队成长，最终练就“一口定全局”的本领。

TSM核心思想：舌尖上的余味

红酒品鉴师会告诉你：品酒不只是尝入口的那一瞬间，更要体会酒液滑过舌尖的层次变化。TSM（时间位移模块）的目标，就是让每一个“当前帧”的品尝体验，都带着“前一口”和“后一口”的余味。

TSM的核心创新在于：不额外引入可学习参数，只通过“搬运”特征图上的通道，就能让2D卷积感知到时序信息。具体做法：把特征图的C个通道（可以把通道理解为特征图的不同“切片”，各自刻画画面的不同侧面）分成三组——前1/4通道沿时间轴向前移动一格，承接上一时刻的信息；后1/4通道向后移动一格，预取下一时刻的信息；中间1/2通道保持原地不动，保留当前帧的原始特征。位移公式如下：

位移完成后，2D卷积对“当前帧”做计算时，输入里已经混入了前、后帧的特征——就像品酒师的口腔里同时有上一口和下一口的残香，无需增加任何调料（参数），就获得了立体的时序口感。

TSM实现细节：零成本搬运的艺术

在晚宴上，要让每位食客“尝到”邻座的菜，不必给每位食客配一位专属厨师——只需服务员把菜往左或往右端一盘。TSM的工程实现正是这种“传菜”。

位移操作发生在特征图层面。假设输入是形状为[N×T, C, H, W]的多维数据块（N是批量大小，T是时间帧数，C是通道数，H×W是空间尺寸），位移操作先把数据重塑成[N, T, C, H, W]，然后在时间维T上做搬运：前1/4通道整体沿T轴向过去错一位（第t帧取第t-1帧），后1/4通道沿T轴向未来错一位（第t帧取第t+1帧），中间通道不动。这个过程仅仅涉及内存复制与索引重排，不引入任何新参数，计算量的增加几乎为零。

更妙的是，TSM通常以残差结构插入ResNet等2D CNN中：

这条“传菜”魔法没有增加任何新厨师（参数）、几乎没增加烹饪时间（计算量），却让每道菜都串起了整桌宴席的味觉线索。在推理阶段，位移还能预先“折叠”进卷积核的权重排布中，部署时甚至不产生额外的数据搬运——这正是TSM在工业界备受青睐的原因。

对比与选型：工具箱里的取舍

美食界没有“万能吃法”——快速摸底用TSN的区域试吃，细品层次用TSM的余味技巧，而真正的大餐评审往往两者结合。

从计算开销看，TSN的核心收益来自“少算”：它把逐帧处理的N次前向压缩为K次（K远小于N），计算量降为原来的K/N。TSM的核心收益来自“免费获取时序”：不增加参数，计算量增加可忽略，却让2D CNN获得了本不具备的时序感知力。两者的数学本质一目了然：

精度效能上，TSN擅长“粗粒度动作类别”（如跑步、跳舞、打架），但对“微妙动作差异”（如开球与传球）不敏感，因为稀疏采样可能错过关键瞬间；TSM保留每一帧的空间信息并通过位移融合上下文，对细粒度时序建模更友好。场景适配方面：短视频分类、安防事件粗筛查等算力敏感场景，TSN是首选；动作识别、手势交互、姿态估计等精细时序场景，TSM更合适。两者也常组合使用：用TSN做全局稀疏采样，把采样帧送入带TSM模块的2D CNN，兼顾算力与精度。

就像一位真正的高手既会在整桌宴席上分区域试吃（TSN），又会在每口品尝中体会余味层次（TSM）——两招并用，才能在任何规模的任务中游刃有余。

AI 应用场景

Python 演示

import numpy as np def temporal_shift(x, n_segment=8, n_div=8):    """TSM temporal shift module.     x: (N*T, C, H, W) consecutive frame features    return: shifted tensor with same shape    """    nt, c, h, w = x.shape    n_batch = nt // n_segment    x = x.reshape(n_batch, n_segment, c, h, w)    fold = c // n_div    out = np.zeros_like(x)     # channel 0 ~ fold: shift to past (from t-1)    out[:, 1:, :fold] = x[:, :-1, :fold]    # channel fold ~ 3*fold: keep current frame    out[:, :, fold:3 * fold] = x[:, :, fold:3 * fold]    # channel 3*fold ~ c: shift to future (from t+1)    out[:, :-1, -fold:] = x[:, 1:, -fold:]     return out.reshape(nt, c, h, w) def demo():    np.random.seed(42)    x = np.random.randn(8, 8, 4, 4)    y = temporal_shift(x, n_segment=8, n_div=8)    print("input shape:", x.shape)    print("output shape:", y.shape)    print("past shift ok:", np.allclose(y[1, :2], x[0, :2]))    print("keep now ok:", np.allclose(y[3, 2:6], x[3, 2:6]))    print("future shift ok:", np.allclose(y[0, 6:], x[1, 6:])) if __name__ == "__main__":    demo()

1. def temporal_shift(x, n_segment=8, n_div=8):定义 TSM 核心位移函数，n_div=8 表示把通道均分为 8 份，前/后各取 1 份做位移。
2. x = x.reshape(n_batch, n_segment, c, h, w)把连续帧张量重塑为 [批量，时间，通道，高，宽]，便于沿时间维操作。
3. out[:, 1:, :fold] = x[:, :-1, :fold]前 1/4 通道：第 t 帧取第 t-1 帧的数据，让当前帧“看到过去”。
4. out[:, :, fold:3 * fold] = x[:, :, fold:3 * fold]中间 1/2 通道原样保留，维持当前帧的空间细节。
5. out[:, :-1, -fold:] = x[:, 1:, -fold:]后 1/4 通道：第 t 帧取第 t+1 帧的数据，让当前帧“预知未来”。

常见误区

面试题