Two-Stream双流网络：两只眼睛看动作

可视化演示

动态演示Two-Stream双流网络的核心机制，通过架构/数据/状态/性能四种模式展示关键概念与交互流程。

视频识别难点：动作是时间的艺术

你去看广场舞，随手拍了张照片。照片里阿姨们正举着手。你能凭这张照片说出她们跳的是哪支舞吗？几乎不能——“举手”这个瞬间既可能出现在《最炫民族风》里，也可能出现在《小苹果》里，甚至可能只是她在赶蚊子。动作识别的第一个难点就在这：动作本质上是时间的艺术，而单帧照片把它凝固成了空间的化石。

早期的视频识别方法，无非就是把视频拆成帧，丢给图像分类器一帧一帧地打分，最后投票。但一帧 224×224 的 RGB 图像，只记录了那一刻的光线分布，运动的时间结构被完全丢弃了。于是研究者开始思考：能不能把“外观”和“运动”分开建模，让网络各管一摊？

这个想法其实来自神经科学。人脑的视觉皮层有两条分工明确的通路：腹侧通路负责“是什么”，处理颜色、形状、物体身份；背侧通路负责“在哪里、怎么动”，处理运动与空间位置。2014 年，Simonyan 等人正是把这个发现搬进深度学习，提出了 Two-Stream 双流网络：一条流管空间外观，一条流管时间运动，各做各的，最后合起来。这不是凭空拍脑袋的创新，而是把“人怎么看动作”翻译成了“网络怎么算动作”。

双流整体架构：两个各司其职的助手

要识别阿姨们跳的舞，你找来两个助手：一个拿着高清相机，专门拍瞬间照片；另一个拿着轨迹记录笔，专门描摹每个人手脚的运动轨迹。两个人同时开工，最后把两份报告拼在一起，才能得出靠谱的结论。双流网络的结构，就是这两个助手。

在实现上，双流网络用两条并行的 CNN 分支：

• 空间流（Spatial Stream）：输入一帧 RGB 图像，尺寸通常是 224×224×3，负责提取“画面里有什么”的外观特征，输出每个动作类别的概率。

• 时序流（Temporal Stream）：输入叠加的光流图，尺寸是 224×224×2L，负责提取“画面在怎么动”的运动特征，也输出每个动作类别的概率。

两条分支可以用同一种 CNN 骨干，也可以分别用 VGG、ResNet 等不同结构。它们的输入管线完全不同：一边走的是“像素的静态分布”，另一边走的是“像素的瞬时运动”。最后，融合层把两路的分数合成出最终答案。两个助手各写一份报告，领导把报告加权汇总，这就是决策级融合的朴素原型。

空间流外观建模：左眼盯住瞬间

专门拍照片的那个助手，就是空间流。他按下快门的瞬间，人眼一瞥就能认出来：这是一个正在挥手的人、场地是水泥地、背景里有几棵树。这些“长什么样”的信息，在计算机视觉里被称为外观信息。

空间流的做法很直接：把单帧 RGB 图像缩放到 224×224，送入一个在 ImageNet 上预训练过的 CNN。预训练给了网络强大的物体识别先验——它已经见过上百万张自然图片，知道人、球拍、树长什么样。网络最后接一个 softmax 分类头，输出“这一帧属于每个动作的概率”。有人会疑惑：为什么空间流只吃一帧，不是吃整段视频？因为它的定位就是“静态外观的专家”——它的能力上限是“通过静态姿势猜动作”。静止的“举杠铃”姿势容易被认出来，但“运球”这种高度依赖连续运动的动作，靠单帧几乎猜不着。这正是时序流存在的意义。

照片助手眼神虽好，但记性只有一帧——他看不见“手之前在哪里”。没关系，另一个助手专门管这件事。

时序流运动建模：右眼盯住轨迹

轨迹助手拿的不是秒表，而是一叠“光流图”。光流图是什么？你可以把它想象成气象台的风场图：气象图上的箭头表示风往哪吹、风速多大；光流图里的箭头则表示每个像素往哪个方向移动、移动多快。阿姨的手在舞动，光流图就在手的位置画出一簇朝上的箭头；她往左转身，光流图就在全身位置画出向左的箭头。

时序流的输入不是连续 RGB 帧，而是光流场的通道堆叠。具体做法是：对视频的相邻帧用光流算法算出每个像素的运动向量 $(\omega_x, \omega_y)$，取连续 $L$ 帧的流场按通道叠在一起，得到一张多通道的“运动图”，公式可以写成：

运动变化越剧烈，光流图中箭头的长度和密度就越大，时序流的“运动特征”也就越强。对“运球”“挥拍”这类动作，时序流比空间流敏锐得多。

光流计算原理：从两帧画面反推风场

风场图是气象学家根据无数观测点的气压和风速数据反推出来的。光流图呢？算法工程师从相邻两帧画面反推出来。核心假设特别朴素，叫亮度恒定假设：同一个物体表面上的点，只要光照基本不变，它在相邻帧里的像素亮度就不变。基于这个假设，可以写出光流约束方程：

一个方程有两个未知数 $u, v$，解不唯一。这被称为孔径问题：透过一个小窗口看运动，只能看到沿纹理方向的分量，垂直方向的信息丢了。所以实际算法都会加一个平滑正则项，强迫相邻像素的运动不要太突兀。最经典的 TV-L1 光流算法就这样求解：

就像气象站用无数测风数据反推风场一样，光流算法用每个像素的亮度观测反推运动向量场。这张“风场图”，就是时序流眼里“动作的模样”。

双流融合策略：领导如何拍板

两个助手交上来了各自的报告。照片助手说：“画面里的姿势像在挥拍，我打 70 分。”轨迹助手说：“手臂的运动方向和速度都像挥拍，我打 90 分。”领导怎么拍板？最简单的办法是加权平均——让更可靠的那一路多占一点权重。双流网络最经典的融合方式正是这种决策级加权：

除了决策级加权，还有一种做法是特征级融合：把两路在全连接层之前的特征向量拼接起来，再经过一个全连接层做分类。在 UCF101 动作识别数据集上，单空间流准确率约 73%，单时序流约 83%，双流简单融合能到 88% 以上。融合的收益来自两路信息的互补：空间流说“画面里有个人、场景像球场”，时序流说“手臂有剧烈摆动、方向向上”，两条证据都指向“挥拍”时，判断自然更可信。

两个助手一个认人、一个认动作，单独开会时偶尔争吵，一起汇报时反而从不犯大错——这就是融合的意义。

训练与优化：把两个助手培训上岗

两个助手不是天生会干活。你得先送他们去培训班打基础，再让他们在海量广场舞片段上反复练手，还要防着他们“背答案”（过拟合）。双流网络的训练，同样遵循这几条经验。

第一，分路独立训练。空间流用 ImageNet 预训练初始化，然后在 RGB 帧上微调；时序流也借用 ImageNet 预训练，但要把第一个卷积层的输入通道从 3 改成 2L，做法是把预训练权重在通道维度上取平均后复制，再在光流数据上训练。第二，数据增强。随机裁剪（从视频帧里随机取 224×224 的区域）、水平翻转、时间抖动，都能大幅提升泛化能力。第三，防止过拟合。两路都会在分类头前加 Dropout，随机丢弃部分神经元。

损失函数用标准的 softmax 交叉熵：

两路也可以联合微调，把损失写成 $L = L_{\text{spatial}} + L_{\text{temporal}}$，即两路损失求和，让两路的梯度互相补充。在 UCF101 和 HMDB51 上，这些技巧通常能再带来 2~4 个百分点的提升。培训得当的双助手组合，比两个各干各的助手靠谱得多。

双流影响与局限：广场舞领队的遗产

双流网络就像广场舞的领队——它带火了一整片舞池，后来者纷纷跟着它的步伐编排新花样。在它之前，视频动作识别基本是“把视频当图像分类”；在它之后，“外观 + 运动分而治之”成了视频理解的标准开场白。

但领队也有力不从心的地方。双流的局限同样明显：

• 光流计算开销大：光流是独立的前处理步骤，计算慢、占存储，而且梯度无法回传到光流部分，导致整体不能完全端到端训练。

• 时间窗口短：时序流通常只看 10 帧左右，约半秒，难以建模“爬山”“跑步”这类几十秒的长程运动依赖。

• 交互不足：两路直到最后融合才碰面，中间几乎没有信息交换，一些细微的时空关联抓不住。

后来的改进路线，最重要的一支是 I3D：把双流中的 2D 卷积替换成 3D 卷积，让每条流各自“看”一个视频片段，光流可以不再需要，模型可以直接端到端训练。再后来，时序 Transformer、VideoMAE 等把“空间 + 时间”的建模整合进单个骨干网络，但双流“外观与运动分而治之”的思想仍被广泛沿用。

从广场舞领队到整个舞池，双流网络留下的不是某段具体代码，而是一套“看动作要分两路”的思维方式。理解它的设计动机，就像学会了广场舞的基本步——后面的花式动作，都是在这个步子上长出来的。

AI 应用场景

Python 演示

import numpy as np  def synthetic_frames(size=64, n=60):    ts = np.linspace(0.0, 2.0 * np.pi, n)    frames = []    for t in ts:        frame = np.zeros((size, size), dtype=np.float32)        cx = int(size // 2 + 18 * np.cos(t))        cy = int(size // 2)        y, x = np.ogrid[:size, :size]        frame[(x - cx) ** 2 + (y - cy) ** 2 <= 9] = 1.0        frames.append(frame)    return np.stack(frames)  def optical_flow_least_squares(f1, f2):    Ix, Iy = np.gradient(f1)    It = f2 - f1    A = np.stack([Ix.ravel(), Iy.ravel()], axis=1)    b = -It.ravel()    u, v = np.linalg.lstsq(A, b, rcond=None)[0]    return float(u), float(v)  def motion_score(video):    speeds = []    for i in range(len(video) - 1):        u, v = optical_flow_least_squares(video[i], video[i + 1])        speeds.append(np.hypot(u, v))    return min(1.0, float(np.mean(speeds)) * 6.0)  def main():    waving = synthetic_frames()    standing = np.repeat(waving[:1], len(waving), axis=0)     spatial = 0.85    for name, video in [("waving", waving), ("standing", standing)]:        temporal = motion_score(video)        fused = 0.5 * spatial + 0.5 * temporal        label = "waving" if fused >= 0.72 else "standing"        print(f"{name:8s} temporal={temporal:.2f} fused={fused:.2f} -> {label}")  if __name__ == "__main__":    main()

1. frame[(x - cx) ** 2 + (y - cy) ** 2 <= 9] = 1.0按照圆心距离公式画出一个半径 3 像素的亮斑，模拟视频里“手”的位置
2. Ix, Iy = np.gradient(f1); It = f2 - f1亮度恒定假设的核心三件套：x 方向梯度、y 方向梯度、时间方向差分
3. np.linalg.lstsq(A, b, rcond=None)[0]用最小二乘解光流约束方程，得到整体运动向量 $(u, v)$
4. min(1.0, float(np.mean(speeds)) * 6.0)把平均运动速度映射到 0~1 区间，作为时序流的“运动置信度”
5. 0.5 * spatial + 0.5 * temporal双流融合：空间流与时序流各占一半权重，对应 $\alpha=0.5$ 的决策级加权
6. fused >= 0.72融合分数超过阈值才判定为“挥手”；静止视频运动分数低、融合分被拉低，不会被误判

常见误区

面试题