时空注意力机制深入

可视化演示

演示时空注意力的QKV计算与3D注意力图、全局vs分解注意力架构对比、注意力权重热力图随时间演化，交互切换模式与时间步参数。

视频时空关联挑战

想象你是舞台导演。舞台上，男一号在左前方念台词，右侧的布景正在缓慢旋转，角落里一位配角正偷偷移动一件道具——而这一幕，恰好呼应第二幕时埋下的伏笔。你还记得那个伏笔吗？一个称职的导演必须同时处理两个维度：空间的“当下”和时间的“过往”。视频模型面对的就是同样的难题。

一段视频可以看作一个三维数据块：宽、高和时间。如果直接对整段视频的所有像素做自注意力，计算量会随着帧数平方级增长，而且相邻帧大部分区域几乎不变，信息冗余严重。能不能把“空间”和“时间”这两个维度拆开，分别建模？

这正是时空注意力机制的核心思路：先在同一帧内部做空间注意力，让每个位置关注同帧内的其他位置；再沿时间轴做时间注意力，让每个位置关注自己在过去和未来的状态。空间注意力回答“看哪里”，时间注意力回答“何时变”——两套视线分工，避免了同时扫描全部时空坐标的灾难。

回到导演的视角，这个张量就是导演手心的“舞台沙盘”——时间和空间被编码成一个个格子。下一步，导演要在这个沙盘上训练自己的两套视线：空间扫视和时间回溯。

注意力机制基石

现在导演需要一套指挥系统来分配目光。想象导演手里拿着一沓问题卡片 Q，每张卡片写着“我现在想了解什么”；每个演员胸前挂着一块名牌 K，写着“我是谁”；当导演决定看某人时，他接收到的表演内容称为 V。导演拿问题卡片和名牌逐一比对，越匹配的演员，获得的目光越多。

这个“比对—分配”过程，就是注意力机制。在 Transformer 中，每个 token 会同时生成自己的 Q、K、V 三个向量：Q 代表“我关心什么”，K 代表“我是什么”，V 代表“我携带的信息”。所有 token 两两计算 Q 与 K 的相似度，再把相似度变成权重，加权聚合所有 V。

最简单的相似度度量就是点积：两个向量方向越一致，点积越大。把所有 Q 和所有 K 做矩阵乘法 QKᵀ，就能得到一张“谁跟谁相关”的热力图。为了避免高维向量点积数值过大破坏数值稳定性，还要除以键向量维度的平方根 √d_k——这就是缩放点积注意力名称的由来。

回到舞台，导演的问题卡片越多，他看得越细。每一个 token 都既当“提问者”又当“被问者”，舞台上的信息便这样被充分交换——这是后续一切注意力变体的地基。

时空分解架构

地基之上，是最关键的架构设计：怎样安排两套视线？一个直觉做法是：导演先迅速扫视全场（空间注意力），在脑海中给每个位置建立“此刻发生了什么”的索引；然后倒带回忆前几幕，把同一位置在不同时刻的状态串联起来（时间注意力）。这套“先空间、后时间”的流程，正是时空分解注意力（ST-Attention）的经典形态。

在 Transformer Block 的设计中，研究者把输入视频 token 序列重排成三维网格：形状为 T×H×W 的时空网格。每个 Block 内部先做一次空间注意力：每个 token 只与同一帧内的 token 交互；再做一次时间注意力：每个 token 只与相同空间位置的跨帧 token 交互。两者交替堆叠，构成视频 Transformer 的基本单元。

分解方案最大的优势是计算量大幅下降：全局注意力的复杂度是 O(T²H²W²)，而分解后空间注意力是 O(T·(HW)²)，时间注意力是 O(HW·T²)，总计算量从“三者乘积的平方”变成了“两者分别的平方之和”。对长视频来说，这是从“算不动”到“勉强能算”的关键一步。

这就像导演的排练手册：第一遍先布局舞台（空间），第二遍再走时间线（时间）。两遍排练都完成，一幕戏的灵魂就出来了。

数学原理深度解析

一个导演的视角总是有限的。优秀的导演会配备多个副导演——有人专门盯动作，有人专门盯台词，有人专门盯道具——每个副导演又带自己的问题卡片。最后，导演把所有副导演的观察汇总成一份完整报告。这就是多头注意力。

多头注意力的数学结构，是在计算 Attention 之前先对 Q、K、V 做不同的线性投影，把输入映射到 h 个不同的“子空间”。每个投影后的子空间称为一个 head，各自独立计算缩放点积注意力。最后把所有 head 的输出拼接起来，再经过输出投影矩阵 W^O 融合，得到与输入维度一致的向量。

为什么要把单个注意力拆成多个头？因为在单个注意力里，Softmax 会让每个位置只关注少数重要 token，平均掉了很多信息。多头相当于给了模型 h 次机会，让不同头学到不同模式——一个头专门追踪物体边界，另一个头专门捕捉色彩变化——最后拼接时信息量远大于单头。

副导演们各司其职、互不干扰，最后导演轻轻合上报告——舞台的每个角落、每条时间线，都了然于心。

因果掩码机制

导演有一个铁律：绝不能偷看剧本的未来。他可以回忆过去、分析现在，但未来的情节必须等它真正上演后才知道。视频生成模型也是如此——在自回归生成时，第 t 帧只能依据已生成的前 t-1 帧来预测，绝不能提前看到第 t+1 帧。这个“不偷看”的约束，靠掩码矩阵实现。

因果掩码的作用位置很微妙：它不改变 Q、K、V 本身，而是在 softmax 之前把未来位置的相似度分数全部置为 -∞。由于 softmax 会把 -∞ 指数化为 0，未来 token 的注意力权重就变成了 0，等于完全不看。这样每个 token 只能看到自己和过去的位置，形成严格的下三角关系。

除了因果掩码，视频模型中还有分块掩码和局部窗口掩码：分块掩码把视频切成小 chunk，只允许 chunk 内部交互；局部窗口掩码则设定每个 token 只与附近 k 个 token 交互。这些掩码既符合“局部性先于全局性”的视觉先验，也大幅降低计算量。

有了“不偷看”的规矩，模型才真正学会推测因果。舞台上每一个反转，都建立在过去伏笔的铺垫上——这正是因果约束赋予模型的推理能力。

优化加速方法

即便做了分解，注意力计算量的大头仍是 N×N 的相似度矩阵。就像导演虽然只看重点，但仍然要把全场 50 个演员的名字都过一遍。要进一步提速，需要给导演配一个智能助理：提前圈出“重点区域”，甚至教导演“不用念完所有人名也能知道谁在哪”的记忆法。

这套“重点区域”就是各种稀疏注意力策略。滑动窗口注意力：只让每个 token 与相邻 k 个 token 交互，远近信息通过多层堆叠逐步传递，看起来像导演的视线沿舞台顺时针扫过。分块注意力：把视频切成多个小片段，片段内部全量交互，片段之间通过局部 token 搭桥。更激进的轴向稀疏，先按宽度方向扫，再按高度方向扫，把二维交互拆成两条一维交互。

如果要更进一步，线性注意力采用数学上的“结合律”来取巧：正常情况下必须先算 QKᵀ 得到一个大矩阵，再乘 V；改写为 φ(Q)(φ(K)ᵀV) 后，先算 φ(K)ᵀV（小矩阵），再乘 φ(Q)，完全避免了 N×N 大矩阵的生成，复杂度从 O(N²) 降到 O(N)。φ 通常选取 ReLU 等非负核函数，保证计算稳定性。

导演的助理越来越聪明：要么圈重点，要么走捷径。不再需要把所有演员都看一遍，而是精准地把目光落在最关键的位置——视频模型的推理成本也由此大幅下降。

Sora融合实践

现在我们把这些技术组装成 Sora 这样真正落地的系统。舞台管理系统怎么运行？导演不会直接面对每秒几十帧的原始像素——那数据量太大了。他面前是一个缩小版沙盘：视频被压缩到隐空间，再切成一个个小格子。每个格子就是一个时空 patch，像沙盘上的“舞台单元”。

Sora 采用的底子是 DiT（Diffusion Transformer）。工作流程分三步：第一步，用预训练 VAE 把原始视频压缩到低维隐空间；第二步，把隐空间特征切成时空 patch——每个 patch 覆盖一定像素和若干帧，转化为 patch token 序列；第三步，将 patch token 与位置编码、扩散时间步编码相加，送入一堆 DiT Block。每个 Block 内部就进行前面讲的分解式时空注意力。

在去噪过程中，空间注意力负责让每一帧的画面细节保持清晰连贯，时间注意力负责让物体运动符合物理规律。两者配合扩散模型逐步还原出高质量视频。由于视频被压缩在隐空间，token 数量大幅减少，时空注意力才能在可接受的算力下充分发挥作用。

导演在这个沙盘上反复排演（扩散去噪），每次排演都用时空注意力理顺空间布局与时间运动。当他最终把沙盘还原为高分辨率视频时，观众看到的就是一个流畅、稳定、充满细节的舞台世界。

AI 应用场景

Python 演示

import numpy as np def softmax(x, axis=-1):    # 数值稳定的 softmax    e_x = np.exp(x - np.max(x, axis=axis, keepdims=True))    return e_x / np.sum(e_x, axis=axis, keepdims=True) def attention(q, k, v):    # 缩放点积注意力: softmax(QK^T / sqrt(d)) @ V    d = k.shape[-1]    scores = np.einsum('bnd,bmd->bnm', q, k) / np.sqrt(d)    weights = softmax(scores, axis=-1)    return np.einsum('bnm,bmd->bnd', weights, v) def temporal_spatial_attention(video_tokens, T, HW):    # 时空分解注意力: 先空间后排时间    B, N, D = video_tokens.shape    x = video_tokens.reshape(B, T, HW, D)     # 空间注意力: 同一帧内所有 patch 互相交互    spatial = np.zeros_like(x)    for b in range(B):        for t in range(T):            frame = x[b, t]            spatial[b, t] = attention(frame[None], frame[None], frame[None])[0]     # 时间注意力: 同一空间位置沿时间轴交互    temporal = np.zeros_like(spatial)    for b in range(B):        for i in range(HW):            seq = spatial[b, :, i]            temporal[b, :, i] = attention(seq[None], seq[None], seq[None])[0]     return temporal.reshape(B, N, D) if __name__ == '__main__':    np.random.seed(42)    B, T, HW, D = 1, 4, 16, 32    x = np.random.randn(B, T * HW, D).astype(np.float32)    y = temporal_spatial_attention(x, T, HW)    print('输出形状:', y.shape)    print('输出均值:', round(float(y.mean()), 4))

1. scores = np.einsum('bnd,bmd->bnm', q, k) / np.sqrt(d)用爱因斯坦求和约定计算所有 query 与 key 的点积相似度，并除以根号 d 做尺度缩放。
2. weights = softmax(scores, axis=-1)对相似度矩阵做 softmax，得到和为 1 的注意力权重。
3. x = video_tokens.reshape(B, T, HW, D)把一维 token 序列重排成三维时空网格，对应“导演的舞台沙盘”。
4. frame = x[b, t]取出第 t 帧的所有空间 patch，作为一次空间注意力的输入。
5. spatial[b, t] = attention(frame[None], frame[None], frame[None])[0]在同一帧内部执行空间注意力，让 patch 之间交换信息。
6. seq = spatial[b, :, i]取出同一空间位置在所有帧上的序列，准备做时间关联。
7. temporal[b, :, i] = attention(seq[None], seq[None], seq[None])[0]沿时间轴执行注意力，模拟导演“回忆过去剧情”。

常见误区

面试题