深入理解时空Patch编码

可视化演示

视频切块原理

想象你面前飞舞着一大堆零散的画面——那是一条奔流不息的时间之河，每秒24帧、60帧地从眼前流过。你要让一个只会"读纸条"的智能体理解这条河，第一步自然不是让它对着整条河发呆，而是把河水分成一个个方便拿取的"小冰块"。视频切块，就是这条流水线的起点。

在计算机眼里，视频从来不是"流动的"，而是一大坨有厚度的"棉花糖"——一段3秒的1080p彩色视频，可以拆成90帧画面，每帧宽1920像素、高1080像素，每个像素有红绿蓝3个通道。这段"棉花糖"的数学名字叫四维张量（Tensor），四个维度分别记录时间、高度、宽度和颜色。

要用数学语言描述这坨"棉花糖"，可以写成：

这个公式表示：整段视频是一个四维数据块，T是总帧数，H是每帧高度，W是每帧宽度，C是颜色通道数。

时空Patch构建

乐高积木绝不是随意切出来的——每一块都有标准的宽度、高度和"厚度"。时空Patch同样讲究"三围"：它不仅要有空间上的宽和高，还要有"时间上的厚度"。这正是它区别于普通图像Patch的关键：它是一块立体积木，而不是一张平面贴纸。

构建时空Patch时，我们需要定下三个关键的"积木尺寸"：时间跨度\(p_t\)、空间高度\(p_h\)、空间宽度\(p_w\)。比如\(p_t=2\)表示一次包含两帧画面，\(p_h=16, p_w=16\)表示在每帧中取16×16像素的小方块。这样切出来的就是一个小长方体，称为"时空立方体"。

切块过程在数学上可以写成：

这个公式表示：从原始视频中取一个子块——时间跨度\(p_t\)帧，空间高度\(p_h\)像素、宽度\(p_w\)像素的小立方体。

展平与嵌入

积木块切好了，但乐高工厂还不能直接把它们丢给拼装机器人——机器人只认数字条码，不认塑料块。于是有了第三道工序：为每一块积木贴上专属的"二维码"。这道工序在AI里就叫"展平与嵌入"。

展平，就是把维度为\(p_t \times p_h \times p_w \times C\)的时空立方体"拉成"一根一维的像素向量；嵌入，则是用一个可学习的矩阵\(W_e\)把这根超长向量"压"成一个几百维的稠密向量。这一步把原始的、冗余的像素信息，转换成了供Transformer直接使用的紧凑语义表示。

数学表达式是：

公式含义：先把时空Patch展平为一维向量，再用线性矩阵\(W_e\)映射到嵌入空间，加上偏置\(b_e\)，得到最终嵌入向量\(z\)。

Transformer适配

现在，整箱乐高积木都贴好了二维码。拼装机器人登场了——它就是Transformer。但这位机器人有个"怪癖"：它只擅长读一维纸条，而且天生分不清谁先谁后。所以我们需要把所有嵌入向量排成一条长序列，并在每个向量上额外贴上"位置标签"。

位置编码就是这样一张"坐标便签"，它告诉Transformer每个积木原本在第几帧、第几行、第几列。有了它，Transformer才能用自注意力机制（Self-Attention）"看见"任意两个积木之间的时空关联——无论它们隔着多远。自注意力的核心公式是：

这个公式描述的是：每个Token（时空Patch）通过查询向量Q去"搜寻"与所有Token的键向量K的匹配度，再用匹配度加权汇总所有Token携带的值向量V。

Sora架构应用

Sora就像乐高总部里的传奇拼装大师。它手里握着一套庞大的"时空积木仓库"，任何视频素材进库后，都要先被统一加工成标准时空Patch，才能进入它的创意工坊。

加工的起点是Video Compressor——一个类似视频压缩器的神经网络编码器。它先把高清视频切分成时空Patch，再进一步压成一个更紧凑的"潜空间"表示。Transformer不必直接面对海量像素，而只需在低维潜空间里做推理。这样既保住了关键语义，又大幅削减了计算量。

整个压缩编码流程可以表示为：

公式说明：视频\(V\)经Video Compressor编码后，得到一个时空尺寸更小、通道为\(d\)的潜空间特征张量\(z\)。

工程权衡挑战

乐高积木有大有小：小积木拼出的模型更精细，但费时费力；大积木拼得快，却容易丢失细节。时空Patch的尺寸选择，正是这样一场"积木大小"的取舍战，而且这场战中的每一项代价都是实打实的算力。

Patch越小，信息越细腻，但Patch总数会爆炸，Transformer的计算量随序列长度呈平方级增长；Patch越大，计算越快，但空间细节和时间运动的刻画都会变粗。此外，视频分辨率越高、时长越长，Patch总数也随之膨胀，对显存和训练数据质量的要求同步上升。

Patch总数的计算方式如下：

公式含义：三个方向上的切块数量相乘，得到整段视频的时空Patch总数。

未来发展趋势

如果有一天，乐高积木能根据你要搭的城堡自动变形——需要精细的地方出小砖，空旷的地方出大砖——那会是什么景象？这正是时空Patch编码正在奔赴的未来。

当前固定尺寸的Patch（如2×16×16）效率还不够理想。学术界正探索动态Patch：让模型根据画面复杂度自动决定每块区域用多大尺寸。同时，Patch也在从"纯视觉"迈向"多模态"，让文本、音频与视频共用同一套"积木语言"。最终目标，是让模型成为可交互的世界模拟器——而这一切的基础，仍是Patch数量与体积关系的持续优化：

公式说明：Patch总数N与视频体积成正比，与单块Patch的体积成反比——这就是一切效率优化的根本约束。

AI 应用场景

Python 演示

import numpy as np  def patchify(video, pt=2, ph=16, pw=16):    ""“将视频切分为时空Patch并展平”""    T, H, W, C = video.shape    nt, nh, nw = T // pt, H // ph, W // pw    patches = []    for t in range(nt):        st = t * pt        for i in range(nh):            si = i * ph            for j in range(nw):                sj = j * pw                cuboid = video[st:st + pt, si:si + ph, sj:sj + pw, :]                patches.append(cuboid.flatten())    return np.array(patches)  def embed_patches(patches, embed_dim=64, seed=42):    ""“线性投影：把展平Patch映射到嵌入空间”""    rng = np.random.RandomState(seed)    d = patches.shape[1]    proj = rng.randn(d, embed_dim).astype(np.float32) * 0.02    bias = rng.randn(embed_dim).astype(np.float32) * 0.01    embeds = patches @ proj + bias    return embeds, proj, bias  def add_sinusoid_position(embeds):    ""“按Token顺序注入正弦位置编码（简化版）”""    N, D = embeds.shape    pos = np.arange(N).reshape(-1, 1).astype(np.float32)    dims = np.arange(D // 2).reshape(1, -1).astype(np.float32)    angle = pos / (10000.0 * (2  dims / D))    pe = np.concatenate([np.sin(angle), np.cos(angle)], axis=1)    if pe.shape[1] < D:        pe = np.concatenate([pe, np.zeros((N, D - pe.shape[1]))], axis=1)    return embeds + pe  def main():    T, H, W, C = 4, 64, 64, 3    rng = np.random.RandomState(0)    video = rng.rand(T, H, W, C).astype(np.float32)    pt, ph, pw = 2, 16, 16     patches = patchify(video, pt, ph, pw)    expect = (T // pt)  (H // ph)  (W // pw)    print(“Patch 数量：”, patches.shape[0])    print(“每个 Patch 展平后维度：”, patches.shape[1])    print(“期望数量：”, expect)     embeds, proj, bias = embed_patches(patches, embed_dim=32)    print(“嵌入向量形状：”, embeds.shape)     seq = add_sinusoid_position(embeds)    print(“注入位置编码后序列形状：”, seq.shape)    print(“Transformer 可处理的 token 数量：”, seq.shape[0])  if name == "main":    main()

常见误区

面试题