Sora视频生成架构原理

可视化演示

展示中心极限定理：从任意分布中重复采样，样本均值的分布随样本量增大趋近正态分布，支持调节样本量和采样速度。

视频压缩网络

暗房技师并不会拿一整卷高清原片直接冲洗。一卷素材大得惊人——每秒几十帧、每帧上百万像素，直接处理会让操作台不堪重负。他先做一道“缩印”：把影像浓缩到一张巴掌大的小底片上，保留光影、轮廓与运动张力，丢掉肉眼不敏感的细节。缩印过的底片，才是他真正工作的对象。

Sora 的第一步，就是把类似的“缩印”交给一个叫“视频压缩网络”的模块。它由编码器 E 和解码器 D 组成。编码器把视频压成一个紧凑的潜空间表示，解码器负责把潜空间“撑开”还原成完整视频。模型在低维的潜空间里做文章，再解码输出给用户。这样既省算力，又能让模型聚焦于“语义”而不是琐碎的像素。

压缩网络训练的目标，是让“还原出的视频”无限接近“原始视频”。这个目标用一个重建损失来衡量：

就像技师缩印后会把小底片与原稿反复比对，压缩网络也在训练时拿着原始视频当“参考答案”，确保缩印不丢灵魂。到了这一步，真正的显影故事，其实都是在潜空间这张小底片上展开的。

时空Patch设计

现在技师手里有一卷一分钟的底片——按 30 帧算就是 1800 多帧，叠起来像一本厚书。他不会整卷抱进显影槽，而是动用裁纸刀：把“厚书”切成一枚枚小立方体邮票。每枚邮票不仅包含画面某一小块区域的纹理，还跨越了连续的几帧，记录着“这块区域在这段时间里怎么动”。

这就是 Sora 最标志性的设计——时空 Patch（Spatiotemporal Patch）。它把视频看作一个三维立方体：时间轴 T、高度 H、宽度 W。设定好时间粒度 s_t、高度粒度 s_h、宽度粒度 s_w，就能把立方体切成一批批三维小块。每个 Patch 再被拉平成一个向量，成为 Transformer 的输入 token。

邮票切好还不够，技师还会给每张邮票敲上一个专属编号——第几秒、画面哪个位置。这个“编号”将在位置编码中扮演关键角色。有了它，后厨的全局调度才认得出谁是谁、谁挨着谁。

扩散模型原理

暗房里最反直觉的一招，叫“倒着洗照片”。训练时，技师故意把一张清晰的照片泡进“褪色液”：影像一点点溶解，最终只剩一片灰雾。他反复做这件事，把“清楚→模糊”的无数中间态记录下来。然后他学习的不是如何避免褪色，而是“从任意程度的灰雾里，把照片救回来”。

扩散模型正是这样一套“倒着洗”的框架。前向过程在训练时按随机时间步 t 给干净视频 x₀ 逐步加噪，直到变成纯噪声；逆向过程则让网络学会从噪声中一步步还原。Sora 生成视频，本质就是在潜空间里执行一次“从灰雾到清晰”的逆向去噪，一共上千步。

训练时，技师往“褪色液”里扔各种进度的照片（随机取 t）；去噪网络的任务，就是精准说出“刚才混进去的噪声长什么样”。一旦学会，生成时只要从满屏灰雾出发，让他带着你一步步“显影”，一段视频就浮现出来了。

DiT架构

暗房大师傅的大脑里住着一位“全局调度员”。普通洗照片，师傅只要盯着一张看；但洗会动的胶片，他必须同时关注所有邮票：海豚的嘴在第 3 秒的第 5 格，那第 4 秒的第 5 格也应该是同一张嘴。这种“所有人都看着所有人”的本事，就是 Transformer 的自注意力机制。

Sora 的去噪网络采用 DiT（Diffusion Transformer，扩散 Transformer）。所有时空 Patch 被拉平成一条 token 序列，送入堆叠的 Transformer 块。每个 token 通过自注意力与序列中所有 token 交换信息，因此画面任何角落的决策都能参考全局上下文。时间步 t、文本提示等条件，则通过自适应层归一化（adaLN）注入。

全局调度员看得越多，协调得越和谐——这也是 DiT 相比传统卷积 U-Net 更擅长长视频的原因。它不预设“局部优先”，而是平等看待全片每个角落，让显影过程始终处在同一套审美与逻辑之下。

视频一致性

你看电影时从不会担心主角中途换脸，因为场记板负责记录“这场戏演员穿的哪件衣服”。Sora 没有场记，它靠的是两件法宝：一是给每张邮票贴上连续的时空坐标，二是把所有邮票放进同一锅显影液里同时显影。

先说坐标。Transformer 本身不感知顺序，必须靠位置编码把“第几帧、画面哪个位置”写进每个 token 的向量里。Sora 使用正弦位置编码，让时间上相邻的帧获得相近的位置表示，模型因此知道“第 5 秒的海豚”和“第 6 秒的海豚”是同一个主体在运动。

再看“同一锅显影液”：因为整段视频的 Patch 是作为一个序列联合去噪的，第 10 帧的角色在显影时始终能“看见”第 1 帧的自己。全局联合加位置编码，双管齐下，才换来一分钟里不穿帮的稳定画面。

世界模型

暗房技师洗了上亿卷真实世界的胶卷之后，变得“神”了。你给他一句“海豚在浪花上跳跃”，他显影出的画面里，海豚跃起的高度符合常识，浪花下落的方向不违反直觉，甚至镜头移开后，被船舷挡住的足球还在画面角落里等着出现。他从没背过物理书，但看得太多，身体记住了世界的运行规律。

Sora 由此被称为“世界模拟器”。它的技术报告指出：当训练数据足够多、模型足够大，视频生成模型会涌现出对三维空间、物体恒存与基础物理的隐式理解。比如，被遮挡的物体在镜头移开后依然存在；影子会随光源方向正确倾斜。这些能力不是某个模块写死的，而是“看多了”之后自己长出来的。

所以当人们惊叹“Sora 怎么懂物理”时，答案不是它安装了物理引擎，而是它像那位见多识广的暗房师傅一样，把物理直觉“洗”进了自己的神经网络里。理解这一点，就理解了从“生成模型”到“世界模型”的质变。

算力与扩展

暗房师傅的手艺不是凭空变好的——他洗的胶卷越多、暗房的设备越先进，显影就越细腻、越少翻车。Sora 团队在技术报告里透露，视频生成质量随训练规模平稳提升，这也是他们坚持把扩散 Transformer 这条路走到黑的原因。

DiT 之所以成为 Sora 的骨架，一个重要因素是它具备良好的扩展性：参数量、数据量、算力三者一起增长时，模型质量稳步上升，而不是撞上瓶颈。业界用扩展定律来描述这种“投入产出”关系：投入的算力越多，画质提升越明显，但边际收益递减。

对工程师而言，这条曲线的启示很实在：与其疯狂抠小技巧，不如把数据、算力、模型容量当成一个系统来扩容。暗房师傅能成为传奇，靠的不是某一次灵光一现，而是数不清的胶卷和一台比一台先进的冲洗机。

AI 应用场景

Python 演示

import numpy as np  def make_video(t=8, h=8, w=8):    """合成一个 8 帧的迷你视频：白色方块从左向右移动。"""    v = np.zeros((t, h, w), dtype=np.float32)    for i in range(t):        v[i, 2:6, i:i + 3] = 1.0    return v  def patchify(video, st=2, sh=4, sw=4):    """把视频切成时空 Patch（3D 小立方体），再拉平成向量。"""    t, h, w = video.shape    patches = []    for i in range(0, t, st):        for j in range(0, h, sh):            for k in range(0, w, sw):                patches.append(video[i:i + st, j:j + sh, k:k + sw].flatten())    return np.array(patches, dtype=np.float32)  def add_noise(x0, t, alpha_bar):    """前向扩散：按时间步 t 给干净视频注入噪声。"""    eps = np.random.randn(*x0.shape).astype(np.float32)    return np.sqrt(alpha_bar[t]) * x0 + np.sqrt(1 - alpha_bar[t]) * eps, eps  def train():    video = make_video()    patches = patchify(video)    T = 20    alpha_bar = np.linspace(1.0, 0.02, T)    rng = np.random.default_rng(0)     # 用一个两层 MLP 充当 DiT 的简化版去噪网络    D = patches.shape[1]    W1 = rng.normal(0, 0.2, (D, 64)).astype(np.float32)    b1 = np.zeros(64, dtype=np.float32)    W2 = rng.normal(0, 0.2, (64, D)).astype(np.float32)    b2 = np.zeros(D, dtype=np.float32)    lr = 1e-2     for epoch in range(400):        t = int(rng.integers(0, T))        x_noisy, eps = add_noise(patches, t, alpha_bar)        h = np.maximum(0, x_noisy @ W1 + b1)        eps_pred = h @ W2 + b2        loss = float(np.mean((eps_pred - eps) ** 2))         g2 = 2 * (eps_pred - eps) / eps.size        W2 -= lr * (h.T @ g2)        b2 -= lr * g2.sum(axis=0)        W1 -= lr * (x_noisy.T @ (g2 @ W2.T * (h > 0)))        b1 -= lr * (g2 @ W2.T * (h > 0)).sum(axis=0)         if epoch % 100 == 0:            print(f"epoch {epoch} loss {loss:.4f}")  if __name__ == "__main__":    train()

1. v[i, 2:6, i:i + 3] = 1.0每一帧把白色方块右移一格，模拟视频中的运动
2. patches.append(video[i:i + st, j:j + sh, k:k + sw].flatten())时空 Patch 化并拉平为向量
3. eps = np.random.randn(*x0.shape).astype(np.float32)生成标准高斯噪声
4. np.sqrt(alpha_bar[t]) * x0 + np.sqrt(1 - alpha_bar[t]) * eps前向加噪公式的实现
5. h = np.maximum(0, x_noisy @ W1 + b1)ReLU 激活，给去噪网络非线性能力
6. loss = float(np.mean((eps_pred - eps) ** 2))噪声预测损失，衡量“猜噪声”的准确度
7. W2 -= lr * (h.T @ g2)梯度下降更新网络权重，让预测越来越准

常见误区

面试题