DiT视频扩散：Sora架构

可视化演示

交互式展示Sora核心DiT视频扩散架构：架构模式展示文本条件→时空Patch化→Transformer去噪→视频生成的完整流程，扩散模式展示从纯噪声逐步去噪生成视频帧的扩散过程，切换模式对比两种核心机制。

视频生成原理

剪辑室里，导演拿到一段 10 秒的成品电影。他做的第一件事，不是欣赏，而是“毁掉”它：一帧一帧往上撒噪声，撒到第 1000 步时，电影完全变成一盒“雪花”。这个把电影变雪花的过程，就是扩散模型的前向过程。Sora 的训练，正是让模型先看“从干净视频到纯噪声”的全过程，然后学会它的逆操作：从纯噪声一步一步擦出干净视频。你一旦理解了“先毁掉、再还原”的套路，Sora 就不再神秘。

这种“逐步加噪”不是一次性泼一桶颜料，而是小心翼翼地走很多小步。每一步都只加入一点高斯噪声，并且每一步混入的噪声强度由参数 $\beta_t$ 控制：

实际训练时，Sora 不会真的走完 1000 步再反向走 1000 步，而是用数学技巧一次采样出“第 $t$ 步的噪声画面”，然后让 DiT 模型去预测刚刚加入的噪声。这样做，既省时间又让模型学会在不同噪声水平下都能“擦桌子”。回到比喻：导演并不需要真的把电影毁掉 1000 次，他只要看几个“毁到一半”的瞬间，就能学会如何把雪花擦回电影。这就是视频扩散生成的第一性原理。

时空Patch化

要把电影交给超级剪辑师处理，不能直接扔给他几百万个像素点，那样信息太多、太碎。制片厂的做法是：把电影胶片切成一颗颗“乐高积木”。每一块积木不仅覆盖画面的一个小区域，还覆盖了连续几帧的同一区域——这就是“时空 Patch”。一颗乐高积木里同时装着空间信息（在画面哪个位置）和时间信息（在哪个时间段），所以它天然保留了视频的“运动感”。

在 DiT 中，视频是一个四维张量：帧数 $T$、高度 $H$、宽度 $W$、通道数 $C$。时空 Patch 化就是把它切成许多 3D 小块，再把每块拉成一个向量，也就是 Transformer 里的一个 token：

与传统逐帧切 2D patch 不同，Sora 的时空 Patch 是“有厚度的积木”：它一次包住好几帧。导演只要扫一眼积木堆，就能同时知道“画面里有什么”和“画面在怎么动”。这也是 Sora 能把视频当作一个整体来生成，而不是一帧一帧拼起来的关键。

DiT架构核心

积木准备好了，真正的“超级剪辑师”登场——DiT，即 Diffusion Transformer。过去的扩散模型常用 UNet 这类卷积网络做主干，而 DiT 直接把 Transformer 搬过来当主力。Transformer 的优势是“全员同时开会”：任何一块积木都能和另外所有积木通信，从而捕捉全局关系。剪辑师看着整堆乐高积木，不需要按顺序一帧一帧看，而能一眼掌握全局。

DiT 的输入不是一个完整视频，而是带噪声的 token 序列。它要做的事很简单：告诉制片厂 “刚才被加进去的噪声长什么样”。换句话说，它预测的不是视频本身，而是“脏东西”。这个目标用均方误差来度量：

DiT 内部还会用 AdaLN（自适应层归一化）把时间步 $t$ 和文本条件 $c$ 注入到每一层 Transformer 块中。这就像是剪辑师每看一段素材，旁边都有导演的小纸条提醒：“这是第 50 步去噪，请按‘金鱼游动’的风格处理”。正因如此，DiT 既能掌握全局结构，又能接受细粒度的外部指令，成为 Sora 的架构核心。

时空注意力机制

超级剪辑师有两只眼睛。一只眼睛盯着单帧画面：鱼缸里的气泡、水草的边缘、玻璃上的反光，这些属于“空间注意力”，负责把每一帧内部的积木拼成完整构图。另一只眼睛专门盯着时间轴：前一秒金鱼在左边，下一秒应该到中间，不能瞬移，这属于“时间注意力”。在视频 DiT 里，这两只眼睛被拆成两个注意力模块，分工明确。

空间注意力把注意力局限在同一帧内的 patch 之间，时间注意力则让不同帧之间同一位置的 patch 互相通信。二者相加，就得到完整视频注意力：

如果只有空间注意力，视频会变成一堆彼此无关的漂亮单帧照片，动起来像幻灯片；如果只有时间注意力，画面内部又会失去细节。两只眼睛缺一不可，这正是 DiT 视频生成能够做到“既有清晰画面、又有流畅运动”的核心秘密。

文本条件控制

制片厂的导演从不亲自动手，他只递上剧本：“一只金鱼在玻璃缸里游动，阳光从左侧射入”。Sora 里的文本编码器会把这句话变成一组向量，相当于导演的“意图说明书”。但这个说明书不能扔在剪辑师桌上就完事，必须精确注人到每一步去噪过程中，模型才知道该往哪个方向“擦噪声”。

最常用的控制方法叫无分类器引导（Classifier-Free Guidance）。它的思路是：让模型分别预测“没有剧本时的噪声”和“有剧本时的噪声”，然后把两者的差值放大，让剧本的影响力更突出：

导演的剧本还可以是画面、语音甚至 3D 运动轨迹。Sora 的文本条件设计让它成为一个“多模态对齐中心”：只要是能编码成向量的信息，都能注入 DiT 的生成过程。可以说，Sora 之所以能“听懂人话”，全靠这套把文本变成注意力信号的注入机制。

图像扩展到视频

图像 DiT 像是拍一张照片的剪辑师；视频 DiT 则是拍电影的剪辑师。从图像到视频，多出的不只是“几帧画面”，而是一个完整的时间维度。图像 patch 是 $p_h \times p_w$ 的二维方块，视频 patch 则是 $p_t \times p_h \times p_w$ 的三维积木，多了一个厚度：

从图像扩展到视频，不只是把“1 张图”变成“10 张图”，还需要增加时间注意力、引入视频级数据、把 2D 卷积升级为 3D 卷积或分解卷积。计算量也水涨船高——这也是为什么 Sora 训练和推理都需要成千上万张 GPU。类比制片厂：拍一张照片只需一台相机，拍一部电影则需要整个摄影棚、灯光组、录音组和后期机房。

训练与推理

训练阶段，制片厂会给剪辑师看几百万小时的真实视频，每段视频都配上文字描述。剪辑师的学习方式是：拿一段真实视频，随机加入噪声，然后尝试预测“噪声是多少”，再和真实噪声对比、更新参数。推理阶段则完全反过来：剪辑师拿到一段纯噪声视频，用学到的本领一步一步去噪，最终把噪声“显影”成新视频。这个反向过程的每一步可以写成 DDPM 采样公式：

Sora 并没有直接在原始像素上做这些运算，而是先用 3D 变分自编码器（VAE）把视频压缩到 latent 空间，在更小的张量上完成加噪、去噪，最后再由解码器把 latent 还原成像素画面。这就像剪辑师先在草图上规划镜头，最后才冲印成正式胶片。训练和推理的对称性，让 DiT 既是“学生”又是“创作者”：它在训练时看过无数电影，在推理时就能自己拍出新电影。

Sora全景

现在把整个制片厂俯拍一遍：导演递上剧本；制片主任把剧本编码成条件向量；剪辑师拿到的原材料是纯噪声；他把噪声视频交给 3D VAE 编码器压缩到 latent 空间；DiT 在这个低维空间里逐层做时空 Patch 化、注入文本条件、执行时空注意力、预测噪声；经过几十步去噪后，解码器把 latent 还原成像素画面。整条流水线可以浓缩为一个端到端公式：

Sora 的核心创新，就是把这套“编码-切块-Transformer 去噪-解码”的流水线做到极高的质量和规模。它的 60 秒连贯视频让人惊叹，但也要看到：它并没有内置物理引擎，杯子被碰倒后会不会碎、重物是否受重力影响，这些规律都是从海量视频中“猜”出来的，因此仍有翻车风险。理解了全景，你就能明白：Sora 不是魔法，而是一个把扩散模型、Transformer 和视频理解组合到极致的系统工程。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport torch.nn.functional as F  class VideoDiT(nn.Module):    def __init__(self, T, H, W, p=2, d=32, heads=2):        super().__init__()        self.p = p        self.d = d        self.n_tokens = (T * (H // p) * (W // p))        self.patchify = nn.Conv3d(1, d, kernel_size=(1, p, p), stride=(1, p, p))        self.pos = nn.Parameter(torch.randn(1, self.n_tokens + 1, d) * 0.02)        self.attn = nn.MultiheadAttention(d, heads, batch_first=True)        self.norm1 = nn.LayerNorm(d)        self.ffn = nn.Sequential(nn.Linear(d, d * 2), nn.GELU(), nn.Linear(d * 2, d))        self.norm2 = nn.LayerNorm(d)        self.head = nn.Linear(d, p * p)        self.cls = nn.Parameter(torch.randn(1, 1, d) * 0.02)        self.text_proj = nn.Linear(d, d)     def forward(self, video, text_feat, timestep):        z = self.patchify(video)        z = z.flatten(2).transpose(1, 2)        B = z.size(0)        scale = torch.sigmoid(timestep / 100.0).view(B, 1, 1)        t_emb = torch.randn(B, 1, self.d, device=video.device) * scale        t_emb = t_emb * scale        cls = self.cls.expand(B, -1, -1) + self.text_proj(text_feat).unsqueeze(1) + t_emb        z = torch.cat([cls, z], dim=1) + self.pos        h = self.norm1(z)        a, _ = self.attn(h, h, h)        z = z + a        z = z + self.ffn(self.norm2(z))        pred = self.head(z[:, 1:])        return pred  def make_video(B, T, H, W):    video = torch.zeros(B, 1, T, H, W)    for t in range(T):        x0 = int(2 + t * 2)        video[:, 0, t, x0:x0 + 4, 6:10] = 1.0    return video  def main():    torch.manual_seed(0)    T, H, W, p = 3, 16, 16, 2    model = VideoDiT(T=T, H=H, W=W, p=p)    opt = torch.optim.AdamW(model.parameters(), lr=5e-3)    video = make_video(4, T, H, W)    for step in range(300):        noise = torch.randn_like(video)        noisy = video + 0.5 * noise        text_feat = torch.randn(4, model.d)        ts = torch.randint(0, 100, (4,)).float()        pred = model(noisy, text_feat, ts)        target = noise.view(4, -1, p * p)        loss = F.mse_loss(pred, target)        opt.zero_grad()        loss.backward()        opt.step()        if step % 50 == 0:            print("step", step, "loss", round(loss.item(), 4))  if __name__ == "__main__":    main()

1. self.patchify = nn.Conv3d(1, d, kernel_size=(1, p, p), stride=(1, p, p))用三维卷积实现时空 Patch 化，把 T×H×W 的视频切成 token。
2. z = z.flatten(2).transpose(1, 2)把 [B, d, token_t, token_h, token_w] 展平成 [B, N, d]，得到 Transformer 的标准输入。
3. t_emb = torch.randn(B, 1, self.d, device=video.device) * scale用时间步生成一个缩放过的条件向量，模拟 DiT 中的时间步条件注入。
4. cls = self.cls.expand(B, -1, -1) + self.text_proj(text_feat).unsqueeze(1) + t_emb把文本条件向量和时间条件加到 CLS token 上，模拟 AdaLN 的条件注入思路。
5. pred = self.head(z[:, 1:])每个 token 预测自己对应 patch 里的噪声，后续用均方误差和真实噪声对比。

常见误区

面试题