DiT视频模型：Sora核心架构

可视化演示

展示DiT模型核心流程：视频Patch化编码、扩散去噪生成过程与时空注意力机制，点击切换三种模式。

视频生成原理

走进那间雕塑工作室，你最先看到的是毛坯堆。每一块大理石都布满灰色噪点般的纹理，隐隐约约能看出一点“人形”的端倪，却完全不成作品。雕塑家告诉你一个秘密：他其实是从“成品”反向练功的——先把一尊完成的雕像录下来，再一遍遍用砂纸打磨、覆盖石膏、泼上颜料，直到它变成一块看不出形状的毛坯；练多了，他闭着眼也能从毛坯里“猜”出当初那个人形。这个过程，就是扩散模型的全部精神内核。

在技术世界里，这块“毛坯”就是一段加满噪声的视频。扩散模型有一个“前向过程”：从一段干净的真实视频出发，在几百个时间步里逐步注入高斯噪声，每走一步画面就更模糊、更“雪花”，直到最后完全变成一坨随机噪点。模型要学的，是它的“反向过程”：给定一个带噪的视频和时间步编号，猜出这一步被加进去的噪声，然后把它减掉，一步一步倒退着把视频“凿”出来。Sora 生成视频，本质上就是从一个纯噪声张量出发，反向执行几百次这个“凿刻”动作。

但视频和图片有个关键差异：视频有“多帧关联”。雕塑家不会只盯着某一帧画面下刀，他还记得上一帧裙摆的风向、预判下一帧转身的角度。所以 DiT 在去噪时，输入的不是一张图，而是几十帧拼接成的一个“时空立方体”，让所有帧在同一个模型里互相参考。扩散模型为这个过程提供数学框架，每一步该加多少噪、该减多少噪，都由下面这个公式说了算。

在反向去噪时，网络的目标是尽量还原“刚被加进去的那把噪声”。训练过程可以看成让雕塑家反复练习“看到毛坯猜凿痕”：给他看加噪后的画面、时间步和文本提示，让他输出刚才被加入的噪声，再和真实噪声做对比。误差越小，说明他下刀越准。

到这里你已明白：扩散模型不是“无中生有”地画视频，而是从噪声毛坯里一点一点“还原”出视频。每一刀都不神秘，神秘的是那几百刀如何被组织得井井有条——这就要请出我们的雕塑家主角：DiT。

DiT核心优势

老匠人的工作室里，工具有一套：锤子、凿子、锉刀，每一件都有专门用途，但换个活儿就得重新磨刀。传统视频生成模型常用的 U-Net 就像这套老工具：它在“去噪”这件事上经验丰富，可一旦想让模型变大、数据变多，结构就捉襟见肘，改造起来像给老凿子焊接延长杆，别扭又脆弱。而 DiT 把整间工作室重构成了现代流水线：所有工具都标准化，随时可以加装新工位。

DiT 的全称是 Diffusion Transformer，它用 Transformer 架构取代了昔日扩散模型的骨架 U-Net。第一项关键升级叫“Patch 化输入”：视频画面不再被当作一整块像素网格，而是被切成一个个小方块——比如 2×2 像素一块——每一块被映射成一个 token，相当于把一块大理石毛坯先划成整齐的方格，每个方格上都贴好标签。Transformer 最擅长的就是处理这种“一串带标签的方块”，所以视频帧变成了它最熟悉的“词语序列”。

第二项优势是“可扩展性”。Transformer 的层数、注意力头数、隐藏维度都可以按算力预算平滑放大，数据和参数越多，效果越好；而 U-Net 的结构一旦放大就容易失稳。这就像一个标准化工作室，客户越多、订单越复杂，只需增加同样的工位就能消化，不必重造工具。第三项是“文本条件融合”：提示词可以被编码成向量，通过交叉注意力直接注入每一层 Transformer——雕塑家手里的图纸，随时可以修改，不需要重新学习基本功。

这些优势汇成一句话：DiT 把“凿石头”这件手艺活，变成了“标准化流水线”。每一层 Transformer block 都是同一个工位：看一遍所有方块（全局注意力），想一想自己的方块和其他方块的关系，再更新一下自己的特征。千千万万个这样的工位堆叠起来，雕塑家的刀法就从“凭感觉”进化成了“有章法”。

时空注意力

雕塑家最厉害的本事，不是单看某一块石头下刀，而是能同时处理两种“看”：一种是盯着眼前几厘米的局部纹理，判断这一刀的深浅——这是“空间注意力”；另一种是退后几步，把动作从头到尾串起来看，确认裙摆的摆动是连贯的、转身没有卡顿——这是“时间注意力”。两种眼光交替使用，作品才既有细节又整体流畅。

在 DiT 里，这两种眼光被统一成同一种数学操作：注意力机制。视频被 Patch 化后，每一帧的每个小方块都成为一个 token。空间注意力让“同一帧内”的所有方块互相交换信息——比如红色裙摆的方块去注意到旁边樱花瓣的方块，确保颜色和轮廓协调；时间注意力则让“不同帧之间”的对应方块互相联系——比如第 3 帧里的球，去“看”第 2 帧和第 4 帧里的球在哪里，从而保证运动轨迹连贯。Sora 的时空注意力可以并行处理这两种关系，还能根据需要把时间维度做特殊掩码来模拟帧率变化。

注意力机制的具体运算像一场“投票大会”：每个方块都举手问“我应该参考谁”（查询 Q），其他方块亮出身份牌（键 K），大家根据匹配程度投票，最后按票数加权汇总别人的信息（值 V）。票数越高的方块，对当前刀法的影响越大。

DiT 还设计了“随机掩码”训练：训练时故意遮住部分帧或部分方块，让模型从可见的部分去预测被遮住的内容。这相当于让雕塑家蒙上眼睛摸一块毛坯，凭手感猜出整尊雕像的全貌——这项训练让 Sora 在推理时能灵活处理不同帧率、不同时长的视频，也为长视频生成打下了基础。

长视频生成

雕一尊 30 厘米的小雕像只需要几小时，但雕一面百米长的浮雕墙呢？难点不在于某一块雕得不好，而在于第 1 米的马和最后一米的马必须是同一匹——姿态、纹路、风格全然连贯。视频也是如此：生成几十帧容易，生成几分钟的长视频难，难就难在“越来越长的时序一致性”。

Sora 解决这个问题的第一招叫“时间轴压缩模拟”。视频在进入 DiT 之前，会先经过一个视频压缩网络，把高分辨率的像素空间压缩成一个更紧凑的“语义空间”，在里面建模时间跨度。这相当于雕塑家先在纸上画出一整面墙的缩略草图，在草图上统一规划构图，再上墙细雕——缩略图上的一厘米，对应墙体上的一米。第二招是“滑动窗口续写”：生成完前一段后，把这一段末尾的几帧作为下一段的起点，继续向后生成。像接力跑一样，每一棒都从上一棒的最后一米开始跑，保证节奏不脱节。

第三招是时序一致性设计：时间注意力层会专门维护“跨帧”的约束，确保同一个物体在不同帧里保持相同的形态与位置关系。配合“缓存复用”——把前面已经生成好的语义特征缓存下来，作为后续窗口的全局记忆——长视频的每个片段都能“记得”前面的内容。这就像雕塑家随身带着一面墙的整体照片，每雕一段就拿出来对照，防止越雕越偏。

当然，这些手段也不是万能的。视频越长，误差越容易累积，就像接力跑最后一棒即使尽力，也难免带上前面几棒的疲惫。这也是当前长视频生成仍会偶尔出现物体变形、场景突变的根本原因。但“缩放构图 + 接力续写 + 全局对照”这套组合拳，已经让 Sora 能从几秒延伸到几分钟，朝着“真正的电影级长镜头”逼近。

物理世界模拟

那位资深雕塑家为什么能雕出衣褶自然下垂、转身时重心稳健的雕像？因为他没有随身带物理课本，更没有在每一刀前计算重力公式。他只是雕过几千件作品，肌肉和眼睛都记住了“布料在重力下会垂成什么弧线”“奔跑时裙摆会滞后于身体”——这种知识不在纸上，而在经验里。

Sora 的物理世界模拟，同样是“从数据里长出来的直觉”。DiT 在训练时看过海量真实视频，在这些视频的帧与帧之间，物体的位置变化隐含着运动规律：苹果下落、水滴飞溅、汽车转弯、头发飘动。模型并不显式地写任何物理方程，而是把规律编码进几十亿个参数中。推理时，它只是“顺着直觉”预测每一步的噪声，却意外地让生成的内容符合大多数物理常识——这是第一层：隐式物理知识。第二层是物体运动轨迹：空间注意力保证了物体形状的完整性，时间注意力保证了运动路径的平滑性，两者合力，一个球在空中飞过的轨迹就能形成一条自然的抛物线。

更令人惊讶的是“多机位一致性”：当你从正面看一座雕像，再绕到侧面、背面，看到的应该是同一尊雕像。Sora 生成同一场景的不同机位视角时，也能保持主角外貌、服装、场景布局一致，仿佛有一个隐形的“三维原模”存在。这背后的原理，仍然是时空注意力在海量多视角视频中学到的三维几何先验。

但必须泼一盆冷水：这种“物理直觉”只是统计规律，不是真正的物理引擎。雕塑家也会有失手的时候——比如把咖啡杯漏水的方向画反，或者让人的手穿过墙壁。Sora 偶尔会生成违背重力的物体、突然出现的肢体，正是因为它的“物理知识”是学来的经验，而非牛顿定律的直接计算。理解这一点，你在使用和评估视频生成工具时，就不会对它抱有不切实际的期待。

训练推理优化

一间工作室若要高效运转，光有优秀的雕塑家还不够，还要有流畅的工序：石材进货（数据准备）、粗坯切割（压缩编码）、雕刻精修（模型训练）、抛光交付（推理采样）、质量验收（效果评估）。DiT 视频模型的生产线，同样有一整套工程化的优化手段。

第一个环节是“视频压缩编码”。原始视频的像素数据量太大，Direct 训练之前，Sora 会先用一个 VAE（变分自编码器）把视频压缩到低维潜在空间，DiT 在这个紧凑空间里做去噪，最后再由解码器把潜在表示还原为高清视频。这个思路也体现在我们的 Python 演示中：8×8 的视频先被 Patch 化，再在高维 token 空间里做注意力。第二个环节是“条件控制”：除了文本提示，DiT 还可以接受图像、视频片段、相机运动轨迹等多种条件作为“图纸”，让创作者更精确地控制构图和运镜。

第三个环节是“采样加速”。完整的扩散过程通常需要几百步反向去噪，每步都是一次完整的 Transformer 前向计算，慢得让人着急。业界常用蒸馏、少步采样等技术，把推理步数从几百步压缩到几十步甚至几步。这就像雕塑家把几百次小幅修整合并成几次大刀阔斧的切削，速度提上去了，但需要足够的训练来保证刀刀精准。第四个环节是“评估指标”:如何判断一段生成视频好不好？需要综合时序连贯性、物理合理性、文本对齐度、画面清晰度等维度——既看自动指标，也离不开人工眼检验收。

于是整条生产线闭环了：压缩减轻负担、DiT 保证质量、加速换取速度、评估守住底线。Sora 之所以能惊艳世界，不是因为某一个环节石破天惊，而是这条“数字雕塑流水线”的每一个工位都做到了极致协同。理解了这条流水线，你再去读任何视频生成模型的论文，都会发现它们只是在某一两个工位上做了新的改进。

AI 应用场景

Python 演示

import torchimport torch.nn as nnimport math T, H, W = 4, 8, 8  # 4帧8x8的迷你视频 def make_video(seed):    """生成一个亮点在画面中做圆周运动的4帧视频,当作干净样本"""    v = torch.zeros(T, 1, H, W)    for t in range(T):        y = int(3 * math.sin(seed + t * 0.8) + 4)        x = int(3 * math.cos(seed + t * 0.8) + 4)        y = max(1, min(H - 2, y))        x = max(1, min(W - 2, x))        v[t, 0, y - 1:y + 2, x - 1:x + 2] = 1.0    return v class PatchEmbed(nn.Module):    """把视频帧切成2x2的patch,转成token序列"""    def __init__(self, hidden=16):        super().__init__()        self.proj = nn.Conv2d(1, hidden, 2, 2)     def forward(self, x):        B, T = x.shape[:2]        tokens = self.proj(x.flatten(0, 1))        return tokens.flatten(2).transpose(1, 2)  # (B*T, 16, hidden) class TimeEmbed(nn.Module):    """把去噪时间步t编码成向量,让模型知道当前凿到哪一刀"""    def __init__(self, hidden=16):        super().__init__()        self.mlp = nn.Sequential(nn.Linear(1, hidden), nn.SiLU(), nn.Linear(hidden, hidden))     def forward(self, t):        return self.mlp(t.unsqueeze(-1).float()) class VidDiTBlock(nn.Module):    """时空注意力块:先做时间注意力(帧间),再做空间注意力(帧内)"""    def __init__(self, dim=16, heads=2):        super().__init__()        self.attn_t = nn.MultiheadAttention(dim, heads, batch_first=True)        self.attn_s = nn.MultiheadAttention(dim, heads, batch_first=True)        self.norm = nn.LayerNorm(dim)        self.ff = nn.Sequential(nn.Linear(dim, dim * 2), nn.GELU(), nn.Linear(dim * 2, dim))     def forward(self, tok, te):        B, T, S, D = tok.shape        t_in = tok.permute(0, 2, 1, 3).reshape(B * S, T, D)        t_out, _ = self.attn_t(t_in, t_in, t_in)        tok = t_out.reshape(B, S, T, D).permute(0, 2, 1, 3)        s_in = tok.reshape(B * T, S, D)        s_out, _ = self.attn_s(s_in, s_in, s_in)        tok = s_out.reshape(B, T, S, D)        return tok + self.ff(self.norm(tok + te.unsqueeze(1))) class MiniDiT(nn.Module):    """极简DiT:patch嵌入 + 时空注意力块 + 预测噪声"""    def __init__(self):        super().__init__()        self.patch = PatchEmbed()        self.time = TimeEmbed()        self.blocks = nn.ModuleList([VidDiTBlock() for _ in range(2)])        self.fc = nn.Linear(16 * 16, H * W)     def forward(self, video, t):        B, T = video.shape[:2]        tok = self.patch(video).reshape(B, T, 16, 16)        te = self.time(t)        for blk in self.blocks:            tok = blk(tok, te)        out = self.fc(tok.reshape(B, T, -1))        return out.view(B, T, 1, H, W) model = MiniDiT()opt = torch.optim.Adam(model.parameters(), lr=1e-3) for step in range(300):    v = make_video((step * 0.7) % 6.28)    eps = torch.randn_like(v)    tt = torch.randint(0, 100, (1,)).float()    alpha = 1 - tt / 100    v_noisy = alpha * v + (1 - alpha) * eps    pred = model(v_noisy, tt)    loss = ((pred - eps) ** 2).mean()    opt.zero_grad()    loss.backward()    opt.step()    if step % 100 == 0:        print(f"step {step}: loss={loss.item():.3f}") v_demo = make_video(1.0)eps = torch.randn_like(v_demo)v_clean = 0.2 * v_demo + 0.8 * epsv_recon = (v_clean - 0.8 * model(v_clean, torch.tensor([80.0]))) / 0.2print("去噪重建误差:", ((v_recon - v_demo) ** 2).mean().item())

1. tokens = self.proj(x.flatten(0, 1))把 4 帧视频并成一叠统一卷积，每个 2×2 patch 变成一个 token，这是“Patch 化输入”。
2. t_in = tok.permute(0, 2, 1, 3).reshape(B * S, T, D)把“帧”变成序列维度，让同一空间位置的 patch 跨帧互看，对应“时间注意力”。
3. s_in = tok.reshape(B * T, S, D)回到帧内，让同一帧里不同 patch 互相注意，对应“空间注意力”。
4. tok + self.ff(self.norm(tok + te.unsqueeze(1)))残差连接 + 前馈网络，每一层都保留原有信息，只更新“该调整的部分”。
5. alpha = 1 - tt / 100时间步越大，加噪系数越大、保真系数越小，模拟前向加噪“毛坯越来越糊”。
6. loss = ((pred - eps) ** 2).mean()模型输出与真实噪声的均方误差，就是正文里的扩散损失。
7. v_recon = (v_clean - 0.8 * model(v_clean, torch.tensor([80.0]))) / 0.2推理时减去预测噪声再除以保真系数，从带噪画面还原干净视频。

常见误区

面试题