ViViT视频Transformer：时空建模原理

可视化演示

展示FCFS、SJF、Round Robin三种进程调度算法的执行过程，通过甘特图动画对比不同策略下的等待时间与周转时间。

视频建模挑战

让我们回到开头那座高塔。假如你只负责看一张照片，那很简单——站在某一层，把所有窗户看完就行。可视频是一座会动的塔：每秒钟都有三十层楼的窗户在同时变化。如果让一个观察员把每一层每一个窗户都细看一遍，再把这些信息串起来，他很快就会累到晕厥——眼睛看不过来，脑子也装不下。这就是视频建模面临的第一个挑战：数据量爆炸。一段十秒的高清视频，包含的画面信息比一千张图片还多。

第二个挑战更微妙：视频理解需要同时处理两个维度的信息。空间维度回答“画面里有什么”——一个人、一辆车、一只猫；时间维度回答“它们在做什么”——跑、停、跳。在数学上，一张图片是一个二维数组 $H \times W$，而一段视频则是一个三维数组 $T \times H \times W$（T是帧数）。如果我们直接把处理图片的模型原封不动地搬到视频上，把每一帧都当作一张独立的图片来处理，那我们就丢失了帧与帧之间最宝贵的运动线索。想象塔里的观察员只看单个窗户、从不抬头看上一层——他永远不知道城市里正在发生什么故事。

第三个挑战由前两个直接导致：计算爆炸。图像Transformer的时间复杂度与像素数量成正比，视频的“像素”是帧数乘以每帧像素，复杂度直接翻了几十倍。我们的高塔需要一支庞大的观察员队伍，而每个观察员的工资都要算进成本里。所以在设计视频模型时，核心目标永远是：在不丢失关键信息的前提下，尽可能少派观察员、让每个观察员少跑几层楼。

理解了这三重挑战，你就明白了ViViT存在的意义。它像一位精明的塔楼调度官，重新设计了观察员的派工方式——不是让每个人跑遍所有楼层，而是把楼层分成小组，让观察员分工协作，用更少的人力看清整座城市的动态。

ViViT输入设计

在让观察员（Transformer）工作之前，塔楼调度官需要先决定一件事：派多少人、怎么安排他们的位置。ViViT的输入设计，就是回答这个问题的。

首先，原始视频就像一条绵延不绝的河流，我们不能把每一滴水都搬进塔里。于是调度官采用了帧采样：每隔一定间隔抽取一帧，把一条长河变成一组精选的“快照”。比如一个10秒的视频有300帧，我们可以均匀抽出32帧。这样做既保留了时间维度的动态信息，又大幅降低了后续的计算压力。这就像你看一部电影的预告片——不需要完整放映，只挑关键镜头就能了解剧情。

接下来是Tubelet嵌入，这是ViViT最具特色的设计。普通图像Transformer会把一张图片切成一个个Patch（小方块），每个Patch变成一个Token。ViViT更进一步：它不仅切分空间，还把时间维度一起切。具体来说，它从连续帧的相同位置抽取一个小立方体，把 $t \times h \times w$ 的像素块（比如 2帧 × 16像素 × 16像素）打包成一个“管道”（Tubelet），再把这个管道整体映射成一个Token。你可以这样想象：观察员不再只看单个窗户，而是透过一列纵向排列的小窗户同时观察上下两层楼的同一位置——这样他天然就获得了“短时间内的运动感”。

输入设计到位后，调度官还需要给每个观察员一张“楼层地图”——这就是位置编码。由于Transformer本身不关心Token的顺序，ViViT需要显式地告诉模型每个Token在时间和空间上的位置信息。它使用可学习的位置编码向量，把空间坐标（在图片中的位置）和时间坐标（在第几帧）分别编码并加到Token上，帮助模型理解“谁在哪儿、什么时候”。

至此，视频已经被巧妙地“翻译”成了一串有序的Token序列，高塔里的每个观察员都拿到了精确的楼层牌。接下来，真正考验调度官智慧的时刻到了：这成千上万个观察员，应该如何协作？

模型架构变体

调度官面前有两条路，分别对应ViViT的两种核心架构变体。

第一条路：联合时空注意力。所有观察员坐在一起，每个人都能看到其他所有人的信息——不管是同楼层的邻居，还是楼上楼下的陌生人。在这种设计下，每个Token都直接与其他所有Token计算注意力，空间和时间的信息被一次性联合建模。它的优点是最全面的：模型能够捕捉长距离的时空依赖，比如一个动作从画面左侧开始，三秒后在右侧产生影响。缺点也很明显：计算量巨大，因为注意力矩阵的大小是所有Token的平方。如果视频有32帧、每帧196个小方块，那Token总数是6272个，注意力矩阵就有近4000万项——这就像让塔里所有人都同时对话，通信成本高得离谱。

第二条路：因子分解时空注意力。调度官决定把问题拆开：先让每层楼的观察员互相交流，了解同楼层内的空间信息；再让每个“楼长”（代表该楼层的关键Token）沿着楼层上下跑动，汇总时间信息。在具体实现上，先做一个空间注意力（只在同一帧内的Token之间计算），再做一个时间注意力（只在跨帧的对应Token之间计算）。这样Attention的计算复杂度从 $O(N^2)$ 降到了 $O(N_s^2 + N_t^2)$，其中 $N_s$ 是每帧的Token数，$N_t$ 是帧数。这就好比把一次全员大会拆成“先开部门会，再开部长会”，沟通总次数大幅下降，而关键信息并没有丢失多少。

除了这两种核心架构，ViViT还设计了变体对比策略：在实际应用中，模型可以先用图像数据预训练一个空间模型，再展开成视频模型，这就是“模型对比选择”的意义所在——不是所有场景都追求最强的时空联合，有的场景更需要速度，有的场景更需要精度，调度官的智慧在于因地制宜。如果追求极致效果且算力充足，选联合注意力；如果面向实时应用，因子分解是更务实的选择。

时间空间权衡

任何调度系统都要面临资源分配的问题。ViViT的设计者必须回答：在算力有限时，是把预算花在“多看几帧”（时间分辨率），还是“看清每帧”（空间分辨率）？

计算复杂度是权衡的起点。设视频帧数为T，每帧的Patch数为 $P = H \times W$。联合注意力处理所有Token，复杂度为 $O(T^2 P^2)$；因子分解注意力先做T次空间注意力（每次 $O(P^2)$），再做P次时间注意力（每次 $O(T^2)$），总复杂度为 $O(T P^2 + P T^2)$。显然，因子分解的复杂度与帧数呈线性关系，而联合注意力呈平方关系。这就是为什么在长视频上，因子分解几乎是唯一可行的选择。

效果与效率的权衡还体现在采样策略上。ViViT提出了两种采样思路：均匀采样（Uniform Sampling）在整段视频中平均取帧，保留完整的时间跨度；而局部采样（Local Sampling）则集中在某一时刻连续取帧，保留精细的动作细节。就像你看足球比赛——如果你想了解整场比赛的战术变化，应该每隔几分钟看一眼；如果你想判断某个球员是否越位，就要紧盯着那几秒的慢动作回放。两种策略各有其适用场景，ViViT在训练时甚至会随机使用不同的采样策略，以增强模型的泛化能力。

权衡还有一个维度：模型深度与输入分辨率。是使用12层的Transformer处理高分辨率视频，还是使用24层的Transformer处理低分辨率视频？ViViT的实验表明：在相同计算预算下，增加深度比增加分辨率更有效——因为视频中的时间动态信息远比静止画面的细节重要。观察员们与其拼命盯着窗户看清每个纹理，不如多跑几层楼多掌握几个瞬间的动态。

训练优化技巧

调度系统设计完成，接下来就要训练这批观察员上岗了。但视频模型的训练比图像模型困难得多：数据量不足、训练不稳定、收敛缓慢。ViViT对此准备了三个法宝。

第一个法宝是预训练迁移。视频数据标注成本极高，而图像数据已经有很多成熟的预训练模型（如ViT在ImageNet上的权重）。ViViT的做法是：先把Transformer模型放在图像数据上预训练，学习通用的空间特征；然后初始化视频模型的权重，只随机初始化时间维度的新参数（如Tubelet嵌入层和时间位置编码）。这个过程就像培养一位塔楼观察员——先让他看大量静态照片练眼力，再让他上岗看视频学习动态。由于空间理解的世界是通用的（照片里的猫和视频里的猫长得一样），这种迁移能大幅度降低视频模型的训练成本。

第二个法宝是知识蒸馏。既然因子分解模型比联合模型在长视频上更有优势，我们可以训练一个效果最好的大模型（联合注意力，教师），再把它的“知识”传授给一个轻量级模型（因子分解，学生）。具体来说，就是让学生模型的输出概率分布去拟合教师模型的输出概率分布，而不是仅仅拟合硬标签。这就像资深调度官（教师）把自己多年的直觉——哪些楼层信息重要、哪些时间点的动作关键——以“软建议”的形式传给新人（学生）。ViViT通过这种方式，让小模型在参数量小得多的前提下，接近大模型的精度。

第三个法宝是数据增强。视频数据增强比图像复杂得多——不仅要做空间上的随机裁剪、翻转，还要做时间上的随机采样、速度扰动（把视频加速或减速）。ViViT还会使用RandAugment策略，随机组合多种增强方式。这些操作相当于给观察员安排“实战演练”：今天看晴天，明天看雨天，今天看慢动作，明天看快进。让模型在不同的“视频风格”中都保持稳定的判断能力，从而防止过拟合。

工业落地实践

当调度系统打磨完毕，真正的挑战才开始——把它从实验室搬到现实世界。ViViT设计中的每一处权衡，在工业场景中都有对应的诉求。

第一个场景是视频分类，这是ViViT最直接的应用。在短视频平台的内容审核场景中，系统需要自动识别视频是否包含违规内容（暴力、涉政等）。传统方案提取关键帧、再用图像模型分类，但这种方式丢失了时序信息——比如“持刀挥舞”这个动作，静态帧看起来只是“人站立”，加上时间维度才能判断这是威胁行为。ViViT的视频理解能力让系统能够捕捉“动作”和“过程”层面的语义。工业落地时通常会选择因子分解模型，因为内容审核需要实时性——每秒处理成千上万条视频，计算量是最大的约束。

第二个场景是动作识别，在安防监控和体育分析中都有广泛应用。在一段监控录像中识别“打架”“奔跑”“跌倒”等异常行为，关键在于时空中的人体姿态变化——这正是ViViT时间注意力擅长捕捉的。工程师会把视频切成长度为几秒的片段，均匀采样输入模型。当模型检测到异常行为时立即报警。这里的挑战是长视频中的时序对齐，ViViT的因子分解架构可以方便地扩展成流式处理模式：每一帧新视频到来时，只需计算一次空间注意力，再与缓存的先前帧的时间特征做时间注意力即可。

第三个场景是实时分析，这是对模型效率的最极致考验。比如无人驾驶系统需要“看懂”路况视频——前方是否有行人穿过、交通灯是否变化、其他车辆是否减速。在这种场景中，每一毫秒都至关重要。ViViT论文提出的因子分解架构为此提供了思路：空间注意力相当于“看清当前画面”，时间注意力相当于“预测下一步动态”。系统可以对道路视频做低分辨率快速推理，把联合大模型蒸馏出的小模型部署到车载边缘设备上。

从视频分类到动作识别再到实时分析，ViViT的每一次设计决策——输入如何采样、注意力如何分解、模型如何训练——都直接关联着实际系统的效率与效果。高塔的调度官知道：在工业世界里，没有最好的模型，只有最合适的方案。

AI 应用场景

Python 演示

import torchimport torch.nn as nn class PatchEmbed3D(nn.Module):    """3D Patch Embedding: 把视频切成 Tubelet 并映射为 Token"""    def __init__(self, in_channels=3, embed_dim=64, tube_size=(2, 4, 4)):        super().__init__()        self.tube_size = tube_size        t, h, w = tube_size        self.proj = nn.Conv3d(in_channels, embed_dim,                              kernel_size=tube_size, stride=tube_size)     def forward(self, x):        # x: (B, C, T, H, W) -> (B, N, D)        x = self.proj(x)        B, D, T, H, W = x.shape        x = x.permute(0, 2, 3, 4, 1).reshape(B, -1, D)        return x  class FactorizedAttention(nn.Module):    """因子分解时空注意力: 先空间后时间"""    def __init__(self, dim=64, num_heads=4, T=8, P=16):        super().__init__()        self.T, self.P = T, P        self.attn_spatial = nn.MultiheadAttention(dim, num_heads, batch_first=True)        self.attn_temporal = nn.MultiheadAttention(dim, num_heads, batch_first=True)     def forward(self, z):        B, N, D = z.shape        z = z.reshape(B, self.T, self.P, D)         # 空间注意力: 对每一帧内部的 Patch 做注意力        z_s = []        for t in range(self.T):            z_t = self.attn_spatial(z[:, t], z[:, t], z[:, t])[0]            z_s.append(z_t)        z_s = torch.stack(z_s, dim=1)         # 时间注意力: 对不同帧的同一 Patch 位置做注意力        z_t_out = []        for p in range(self.P):            z_p = self.attn_temporal(z_s[:, :, p], z_s[:, :, p], z_s[:, :, p])[0]            z_t_out.append(z_p)        z_t_out = torch.stack(z_t_out, dim=2)        return z_t_out.reshape(B, N, D)  class ViViTClassifier(nn.Module):    """简化版 ViViT: Tubelet嵌入 -> 因子分解注意力 -> 分类头"""    def __init__(self, num_classes=10, embed_dim=64,                 tube_size=(2, 4, 4), T=8, input_size=16):        super().__init__()        self.patch_embed = PatchEmbed3D(embed_dim=embed_dim, tube_size=tube_size)        self.cls_token = nn.Parameter(torch.randn(1, 1, embed_dim))        self.encoder = FactorizedAttention(dim=embed_dim, T=T,                                           P=(input_size // tube_size[1]) ** 2)        self.head = nn.Linear(embed_dim, num_classes)     def forward(self, x):        z = self.patch_embed(x)        cls = self.cls_token.expand(z.shape[0], -1, -1)        z = torch.cat([cls, z], dim=1)        z = self.encoder(z)        return self.head(z[:, 0])  if __name__ == "__main__":    # 模拟输入: 8帧 16x16 视频    video = torch.randn(2, 3, 8, 16, 16)    model = ViViTClassifier(num_classes=10, T=8, input_size=16)    logits = model(video)    print(f"输出 logits 形状: {logits.shape}")  # (2, 10)

1. nn.Conv3d(in_channels, embed_dim, kernel_size=tube_size, stride=tube_size)用3D卷积一步完成Tubelet的切分和嵌入，相当于论文中的Tubelet Embedding（管道拼接）。
2. x.permute(0, 2, 3, 4, 1).reshape(B, -1, D)将Token按帧和空间位置排开，形成Transformer的输入序列。
3. z = z.reshape(B, self.T, self.P, D)把Token序列重排为 （帧数，空间Patch数），这是“先空间后时间”分解的前提。
4. self.attn_spatial(z[:, t], z[:, t], z[:, t])对第t帧内的所有Patch计算空间注意力，对应论文中的空间注意力层。
5. self.attn_temporal(z_s[:, :, p], ...)对跨帧的同一Patch位置计算时间注意力，捕捉运动动态。
6. self.cls_token类似于ViT的类别Token，最终通过它输出视频级的分类结果。
7. self.head(z[:, 0])取出类别Token对应的特征，送入线性层得到类别概率。z[:, 0]是类别Token的输出。

常见误区

面试题