视频自监督预训练：无标注也能学好特征

可视化演示

展示视频对比学习正负样本构建、VideoMAE管状掩码重建与时序预测代理任务，交互切换查看不同自监督策略的特征学习机制。

第一节：自监督学习原理

学徒在录像带仓库里没有老师，但他发现了另一条路：录像带本身就是老师。他把同一段打架戏倒回去反复看，慢慢意识到“出拳之后必然收拳”；他把不同视频里的跑步镜头放在一起比，发现“脚离地再落地”的规律。没有一句话的讲解，Video信号里的结构规律，就是他唯一的教材。

自监督学习把这条人类直觉变成了算法。所谓“自监督”，就是不再依赖人工标注，而是从数据本身挖出监督信号。对一段视频，我们可以主动改造它——倒序播放、遮挡画面、裁剪片段——然后让模型回答“改造前长什么样”或“哪个是原版”。改造前的原始信息就是答案，答案不需要人写，数据自己会提供。这些人为设计的“题目”就是代理任务，而自动生成的答案叫作伪标签。

形式上，自监督预训练的目标可以写成：

学徒看录像带时虽然没有老师，但他观察到的规律——物体连续、动作有因果——正是伪标签的来源。自监督学习就是把这些“无师自通”的观察固化成一套可自动运行的训练流程。

第二节：代理任务设计

学徒开始学会“给自己出题”了。他会遮住画面的一半猜另一半；会把一段视频倒着放，猜原来是什么顺序；会把两个无关镜头混在一起，逼自己找出哪两个属于同一个故事。题目不同，但都有一个共同点：答案就藏在视频自己身上，不需要任何人告诉他。

代理任务，就是把“视频结构”变成“训练题目”的装置。视频和图片最大的不同是拥有时间维度和空间连续性：同一物体在相邻帧里位置连续变化，同一动作有前后因果，不同视频的内容千差万别。代理任务就是针对这些结构特点设计的。最常见的三类任务分别是：对比学习（判断哪些画面属于同一来源）、掩码建模（遮挡部分画面后重建）、时序预测（预测未来的帧或恢复被打乱的顺序）。

代理任务的构造可以统一写成：

设计代理任务有一个关键原则：难度要恰到好处。题目太简单，模型抄近道就能得分，学不到深层语义；题目太难，模型直接摆烂瞎猜。好的代理任务，就像学徒给自己定的“最近发展区”——跳一跳才够得着。这也是 VideoMAE 后来把掩码率调到 90% 的根本原因：足够难，才能逼出真本事。

第三节：对比学习

学徒发现一个窍门：把同一段视频的两个不同角度看两遍，他能在人群中认出同一个人；而把两段毫无关系的视频放在一起，他能立刻判断“这不是一件事”。这种“分辨相似与不相似”的能力，让他对人物、场景、动作的把握越来越敏锐。

对比学习就是这样一种“分辨相似与不相似”的框架。对每个样本，模型要回答一个问题：“这个画面片段和哪个片段来自同一来源？”同一视频的时空片段（如同一动作的不同裁剪）构成正样本对；来自不同视频的片段构成负样本对。模型被要求拉近正样本对在特征空间中的距离，同时推远负样本对。视频里的时间连续性天然提供了丰富的正样本——相邻帧天然相似，这正是视频相比图像的优势。

对比学习最经典的损失函数是 InfoNCE：

回到学徒的比喻：他之所以能“认人”，不仅因为记得正样本长什么样，更因为在大量负样本的干扰下依然能认出正样本。对比学习的精髓，正是在“干扰中还能认出对的”，这让他学到的不再是肤浅的像素相似，而是真正稳定的身份与语义特征。

第四节：掩码建模

学徒想了个新玩法：找一张纸，把屏幕的一部分遮住，只留前后几帧的画面，然后闭上眼睛猜被遮住的部分。遮住跑步者的下半身，他能根据上半身起伏和地面光影猜出“在跑步”；遮住一扇门，他能根据人们进出方向猜出门外是走廊。每次猜完，他揭开纸对照，错了就重新琢磨。这个猜谜游戏，逼他真正理解了画面的整体结构和物体运动规律。

掩码建模正是把这个猜谜游戏搬进了神经网络。具体做法是：把视频切成一个个小块（时空 patch），随机遮挡其中一部分，然后让模型根据剩下的可见块，重建被遮挡块的内容。重建目标可以是原始的 RGB 像素，也可以是更深层的特征表示；只要模型能“补全”被遮的内容，就说明它学会了视频的全局语义与时空连贯性。视觉领域的 BERT、图像领域的 MAE，都是这条技术路线上的里程碑。

掩码重建的损失函数通常写成均方误差形式：

学徒的猜谜游戏之所以有效，是因为他不能只看局部，而必须把整段视频的来龙去脉串起来。掩码建模也一样：被遮住的块越多，模型越不能靠局部像素“作弊”，越要调动全局语义。这就是掩码率可以高达 90% 的理论基础——题目越难，逼出的能力越强。

第五节：VideoMAE

学徒玩猜谜玩上了瘾，开始变本加厉：他一张纸不够，直接把屏幕的 90% 都糊住，只留零星几个角落。旁人觉得这根本不可能猜出来，但他反而发现，越是只留一点点线索，他越能强迫自己回忆整个场景的完整逻辑。只看到参赛者的号码布，他能想起整个马拉松现场。这种“几乎全遮”的极端训练，就是他脑内建立全局模型的秘诀。

VideoMAE 把这种“极端猜谜”做到了极致。它的掩码率高达约 90%，远高于图像 MAE 常用的 75%。只保留 10% 的时空块作为可见 token 送入编码器，编码器因此极其轻量；随后，被掩码的位置和可见位置一起送入一个轻量解码器，重建完整的视频块。更关键的是 VideoMAE 采用了 Tube Masking（管状掩码策略）——不是随机打散地遮单个 patch，而是沿时间轴连续地遮住整根“时空管道”，这样能保留视频的时空连续性，防止模型靠相邻帧的冗余像素直接抄答案。

VideoMAE 的掩码率公式简单而震撼：

VideoMAE 的非对称架构也值得注意：

学徒发现“几乎全遮”反而让他建立起了全局观。VideoMAE 验证了同样的道理：当模型没法靠局部像素抄近道时，它被迫去理解“这一帧和下一帧之间发生了什么”“整个场景的结构是什么”。这种被逼出来的全局时空理解，正是下游视频任务最需要的底层能力。

第六节：时序预测

学徒看跳高视频时，运动员刚助跑起跳，他就已经猜出接下来要过杆；看倒放的视频，他能从“水花从水面飞回盆里”猜出原视频是“把水泼出去”。视频和图片最本质的区别，就是时间在流动，动作有前因后果。学徒意识到，如果他能预测“下一秒会发生什么”，就说明他真的看懂了视频。

时序预测类代理任务，就是专门利用视频时间维度构造的“预测题”。常见形式有三种：一是帧顺序预测，把一段视频的帧打乱，让模型恢复出正确顺序；二是未来帧预测，给定前 \(t\) 帧，模型预测第 \(t+1\) 帧的内容；三是时间方向判断，让模型判别视频是正放还是倒放。这些任务有个共同点：答案只来自视频自身的先后顺序，不需要人工标注。

未来帧预测可以形式化为条件概率模型：

时序预测对动作识别尤其关键，因为很多动作光看单帧根本无法区分。“举起”和“放下”在静态画面里可能一模一样，只有看时间轴上的运动方向才能分辨。学徒通过预测“下一秒”，学会了动作的因果与方向感，这正是视频区别于图像的最珍贵“手感”。

第七节：下游迁移

学徒终于学成出师，去一家武馆做见习弟子。武馆师父只示范了一遍“如何防守”，他就举一反三地学会了应对各种招式。他不是因为见过所有招式，而是因为此前在录像带仓库里积累的“看动作规律”的功底，让他学新招式特别快。这份功底，就是预训练得到的通用特征；武馆的活儿，就是下游任务。

把自监督预训练好的编码器迁移到下游任务，是最后一步也是离应用最近的一步。最常用的有两种方式。第一种是线性探测（Linear Probe）：冻结编码器的全部参数，只训练一个线性分类头，用来快速评估预训练特征的质量。第二种是微调（Fine-tune）：用下游任务的数据集（通常只需要少量标注）更新整个网络的参数，以取得最优的下游性能。两种方式的取舍在于：线性探测更能反映预训练特征本身的好坏，微调则能榨出最后一截性能。

下游线性分类头的数学形式很简单：

学徒出师后并没有停止学习，他只是学得更快了。预训练 + 微调也遵循同样的逻辑：无标签视频负责打底子，少量有标签数据负责点拨方向。用 10 万条无标签视频预训练，再拿 1000 条标注微调，效果往往能逼近甚至超过用 10 万条全标注数据从头训练的模型——这就是自学成才的威力。

AI 应用场景

Python 演示

import torchimport torch.nn as nn torch.manual_seed(0) # ========== 极简 VideoMAE 掩码重建演示 ==========T, C = 8, 32                      # 8 帧, 每帧 32 维特征x = torch.randn(T, C)             # 合成一段"视频特征序列" mask = torch.zeros(T, 1)          # 掩码标记: 1=被遮mask[torch.randperm(T)[:4]] = 1   # 随机遮住 4 帧  class VideoMAEDemo(nn.Module):    def __init__(self):        super().__init__()        self.encoder = nn.Linear(C, 64)  # 编码可见帧        self.decoder = nn.Linear(64, C)  # 重建被遮帧     def forward(self, x, m):        vis = torch.relu(self.encoder(x * (1 - m)))        ctx = vis.mean(dim=0, keepdim=True)  # 全局上下文        return self.decoder(ctx)             # 重建全部帧  model = VideoMAEDemo()optim = torch.optim.Adam(model.parameters(), lr=0.03) for step in range(100):    rec = model(x, mask)    loss = nn.functional.mse_loss(rec * mask, x * mask)  # 只计算被遮帧    optim.zero_grad()    loss.backward()    optim.step() print(f"最终重建损失: {loss.item():.4f}")

1. mask[torch.randperm(T)[:4]] = 1随机选 4 帧打上掩码标记，模拟遮挡
2. self.encoder = nn.Linear(C, 64)编码器只处理可见帧，压缩信息
3. vis = torch.relu(self.encoder(x * (1 - m)))被遮帧乘以 0，只保留可见帧信息
4. ctx = vis.mean(dim=0, keepdim=True)把可见帧信息汇聚成全局上下文向量
5. self.decoder = nn.Linear(64, C)解码器从全局上下文重建被遮帧
6. loss = nn.functional.mse_loss(rec * mask, x * mask)只在被遮帧位置计算重建损失

常见误区

面试题