假设你是制片人，手里只有一句剧本：“一只橘猫在窗台上打盹，夕阳把影子拉得很长。”你的任务，是把这句话变成一段丝滑流畅、细节真实的成片。现实里，你得组建剧组、写分镜、搭棚拍摄、后期剪辑，最后还得请影评人打分。AI 的文生视频（T2V，Text-to-Video）模型，干的正是这一整套活儿——只不过这个“剧组”全部活在显卡里。它里面有负责把剧本翻译成通用语言的“编剧”，有负责压缩和还原素材的“摄影与压片师”，有在噪声棚里一笔一笔精修画面的“美术团队”，有盯着前后镜头不穿帮的“剪辑师”，还有最后拿着评分卡挑毛病的“影评人”。理解 T2V 模型，其实就是理解这个数字剧组怎么分工、怎么协作、怎么被考核。这篇文章，我们就全程用这场“拍电影”来拆解 T2V 的模型架构与生成质量评估，读完之后，你再看任何一篇讲文生视频的技术文章，都不会再觉得名词是天文符号了。

岗位关联

懂 T2V 架构与评估指标，是算法工程师优化生成效果、产品经理判断模型选型的看家本领，能帮你把“感觉还行”变成“指标可量、问题可查、优化有方向”。

目录
  1. 可视化演示
  2. 整体架构流程：一个数字剧组的诞生
  3. 文本编码器：把剧本翻译成分镜语言
  4. 视频VAE：摄影机与压片师
  5. 扩散去噪网络：噪声棚里的精修画师
  6. 时间一致性模块：防穿帮的剪辑师
  7. 生成质量评估：审片会的双轨制
  8. 常用评估指标：影评人的四张评分卡
  9. 应用与优化：从样片到正式上映
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示T2V模型从文本编码到视频帧生成的完整管线、扩散去噪生成过程及FVD/IS/CLIP质量评估指标对比。

本节配有交互动效（进入视口后自动加载，约 3KB）。

T2V模型架构管线 文本编码 扩散生成 Video=Diffusion(Text) 文本经编码器嵌入驱动扩散U-Net逐帧去噪生成视频

整体架构流程：一个数字剧组的诞生

制片人拿到一句剧本后，第一件事不是开机，而是先搭剧组、排流程：编剧先把剧本吃透，摄影把场景拍成素材，美术在摄影棚里打磨画面，剪辑把素材串成故事，最后请影评人验收。T2V 模型的架构，就是这样一个数字剧组，只是所有成员都活在显卡里，各司其职、接力干活。

一条典型的文生视频流水线长这样（技术名词先混个脸熟）：用户输入的句子，先被“编剧”文本编码器翻译成模型能懂的语义向量；接着，“压片师”视频编码器把真实视频素材压缩到小得多的“潜空间”里——你可以把潜空间理解成一张浓缩了全部画面信息的工作底稿，后续所有处理都在这张底稿上进行，速度快、省显存；然后，“美术团队”扩散去噪网络在这个小空间里一步步把噪声擦成画面；最后，“还原师”视频解码器再把底稿解压回高清视频。

训练时，整个剧组反复练习一个核心本领：把被噪声弄花的视频修回原样。更准确地说，模型学的不是“怎么修”，而是“刚才加上去的噪声长什么样”。这个训练目标公式如下：

就像电影开机前先要对齐所有工种，T2V 的总架构决定了每个模块的职责边界：编剧负责理解语言，压片师负责控制成本，美术负责画面质量，剪辑负责连贯性，影评人负责验收。理解了这条总管线，后面每一节就是逐个认识剧组里的关键角色。

L=Et,z0,ϵ∼N(0,I)[∥ϵ−ϵθ(zt,t,c)∥22]\displaystyle \mathcal{L} = \mathbb{E}_{t, \mathbf{z}_0, \epsilon \sim \mathcal{N}(0, \mathbf{I})} \left[ \left\| \epsilon - \epsilon_\theta(\mathbf{z}_t, t, \mathbf{c}) \right\|_2^2 \right]
这个公式是整条流水线的“总指挥手册”：它告诉剧组，无论在哪一步被噪声弄花，都要学会把噪声精确地找出来、擦干净。
  1. 噪声记号训练时往真实视频隐向量上叠加的高斯噪声，是“被故意弄花”的痕迹。
    ϵ∼N(0,I)\epsilon \sim \mathcal{N}(0, \mathbf{I})
  2. 带噪视频经过 t 步加噪后的隐向量，t 越大画面越花。
    zt\mathbf{z}_t
  3. 去噪网络模型要预测出刚才加的噪声，它的参数用 θ 表示。
    ϵθ(zt,t,c)\epsilon_\theta(\mathbf{z}_t, t, \mathbf{c})
  4. 文本条件文本编码器输出的向量，告诉模型“要还原成什么内容”。
    c\mathbf{c}
  5. 期望对随机时间步、随机噪声和随机视频整体取平均，相当于让剧组在所有拍摄场景下都别出错。
    Et,z0,ϵ\mathbb{E}_{t, \mathbf{z}_0, \epsilon}

文本编码器：把剧本翻译成分镜语言

剧组里，编剧的工作不是把剧本原封不动念给所有人听，而是把它拆成每个人都能执行的分镜指令：什么机位、什么景别、什么情绪。T2V 的文本编码器就是这样的编剧——它把人类的一句话翻译成一组组数字向量，也就是剧组里每位成员都能读懂的“分镜语言”。

主流方案是借用像 CLIP 文本分支这样的预训练模型。它平时在海量的图文对上进行“看图说话”训练，见过“橘猫”这个词和无数张橘猫的照片，所以见到“橘猫”就会输出和“猫、橙色、毛茸茸”相近的向量。专业说法叫“语义对齐”——把文字和画面塞进同一个语义空间，让“一句话”和“对应画面”在这个空间里挨得很近，就像编剧和摄影师共享同一套行话。

编码完成后，条件向量 c 不是用完就扔，它要被注入到后面的扩散网络里，最常见的注入方式是交叉注意力。通俗说，就是编剧的分镜手稿要时刻摆在美术团队案头，画每一笔都要对照着来：

好的编剧能让所有工种秒懂剧本；文本编码器的质量，也直接决定成片贴不贴题。如果编剧理解偏了，后面美术团队画得再精细，交出来的也是一部“跑题大片”。

c=Encodertext(P),Attention(Q,K,V)=softmax(QK⊤d)V\displaystyle \mathbf{c} = \mathrm{Encoder}_{\mathrm{text}}(P), \quad \mathrm{Attention}(\mathbf{Q}, \mathbf{K}, \mathbf{V}) = \mathrm{softmax} \left( \frac{\mathbf{Q}\mathbf{K}^{\top}}{\sqrt{d}} \right) \mathbf{V}
前半句是编剧把剧本“翻译”成向量 c；后半句是美术团队在作画时“查分镜”的机制——每画一个局部，都去全局线索里找该参考哪句话。
  1. 提示文本用户输入的句子，比如“一只橘猫在窗台上打盹”。
    PP
  2. 文本编码器把句子映射成语义向量的“翻译官”。
    Encodertext(P)\mathrm{Encoder}_{\mathrm{text}}(P)
  3. 条件向量扩散模型的“剧本提示卡”，全程参与生成。
    c\mathbf{c}
  4. 查询/键/值查询是“我现在这块该看哪里”，键是“我有什么可供参考”，值是“参考信息的具体内容”。
    Q,K,V\mathbf{Q}, \mathbf{K}, \mathbf{V}
  5. 维度缩放除以维度 d 的平方根，防止向量点积数值过大导致 softmax 太“极端”。
    d\sqrt{d}

视频VAE：摄影机与压片师

一部成片的原始素材体积大得吓人，全分辨率直接交给 AI 处理，显卡第一个吃不消。现实剧组里，摄影师拍完素材会交给 DIT（数字影像工程师）压成体积小巧的“代理文件”供剪辑使用，定稿后再还原成高清成片。视频 VAE（变分自编码器）就是这个环节的数字化身。

VAE 分两半：编码器 E 像“摄影机加压片师”，把视频压缩进一个小小的潜空间——所有画面信息浓缩成一张“工作底稿”；解码器 D 像“还原师”，把底稿重新扩回完整视频。它同时做两件事：空间压缩（把每一帧画面变小）和时间压缩（把帧数、时长压短）。视频和图像模型的差别就在这：除了画面变小，还得在时间轴上“抽帧”，让剧组处理的是精简版的“剪辑素材”。

训练 VAE 时，优化目标由两部分组成。第一项是重建误差，要求还原出来的视频和原片尽量一致；第二项是 KL 散度，要求“压缩格式”规整，让潜空间里的数值分布贴近标准正态，避免出现奇怪的编码死角：

有了这套“拍完压缩、用完还原”的机制，后面的美术团队才能在又小又快的工作台上精雕细琢。潜空间的尺寸直接决定了训练成本和成片分辨率上限——就像代理文件压得太狠，最后成片就糊了，这个度要拿捏好。

LVAE=∥x−D(E(x))∥22+λ⋅KL(N(μ,σ2) ∥ N(0,I))\displaystyle \mathcal{L}_{\mathrm{VAE}} = \left\| \mathbf{x} - \mathcal{D}(\mathcal{E}(\mathbf{x})) \right\|_2^2 + \lambda \cdot \mathrm{KL}\left( \mathcal{N}(\mu, \sigma^2) \, \| \, \mathcal{N}(0, \mathbf{I}) \right)
前一半保证“压完能还原”（画质不糊），后一半保证“压缩格式规整”（潜在空间好用好采样），λ 是两头的配比。
  1. 原始视频高分辨率的成片素材。
    x\mathbf{x}
  2. 编码器摄影机加压片师，把视频压进潜空间的“工作底稿”。
    E(x)\mathcal{E}(\mathbf{x})
  3. 解码器还原师，把底稿恢复成完整视频。
    D(E(x))\mathcal{D}(\mathcal{E}(\mathbf{x}))
  4. 重建误差衡量还原视频与原片差多少，差得越少画质越好。
    ∥x−D(E(x))∥22\left\| \mathbf{x} - \mathcal{D}(\mathcal{E}(\mathbf{x})) \right\|_2^2
  5. KL 散度让潜空间分布靠近标准正态，保证压缩格式规整。
    KL(N(μ,σ2) ∥ N(0,I))\mathrm{KL}\left( \mathcal{N}(\mu, \sigma^2) \, \| \, \mathcal{N}(0, \mathbf{I}) \right)
  6. 平衡权重调节“画质还原”和“分布规整”哪个更重要。
    λ\lambda

扩散去噪网络：噪声棚里的精修画师

如果剧组要拍一段“梦中记忆”，美术团队会怎么做？他们会先铺一块灰蒙蒙的粗胚，再一点点描轮廓、加光影。扩散去噪网络就是这样一支画师团队，只不过它面对的不是空白画布，而是一整片随机噪声——一个乱糟糟的“噪声棚”。

它的骨干结构叫 U-Net，长得像一个“先缩后展”的漏斗：前半段不断下采样，把画面信息浓缩、提炼出关键语义；后半段不断上采样，把浓缩的信息逐步还原成精细细节。中间还有“跳跃连接”，把早期保留的高清边缘信息直接传给后期，防止细节在路上丢光。在这个骨干里，还常常埋着时间一致性模块（下一节的剪辑师）来保证帧间不穿帮。

生成的时候，从纯噪声出发，按下面的公式一步步迭代去噪：每走一步，网络先判断当前画面里混着多少噪声，扣掉它，再补一点微小的随机扰动保持多样性，如此反复几十步，直到画面真正清晰：

噪声棚里交出来的画稿，还只是“一组很漂亮的单帧”。它能不能成为“一段视频”，关键要看剪辑师有没有把帧与帧之间的穿帮接缝补好——这正是下一节的主角。

zt−1=1αt(zt−βt1−αˉtϵθ(zt,t,c))+σtη\displaystyle \mathbf{z}_{t-1} = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{z}_t - \frac{\beta_t}{\sqrt{1 - \bar{\alpha}_t}} \epsilon_\theta(\mathbf{z}_t, t, \mathbf{c}) \right) + \sigma_t \eta
这是“美术团队的精修公式”：从带噪半成品 z_t 出发，预测并扣掉噪声，再留一点随机性，一步步磨出成稿 z_0。
  1. 当前潜变量采样进行到第 t 步的“半成品画面”。
    zt\mathbf{z}_t
  2. 预测噪声网络判断此刻画面里混杂的那层“灰”。
    ϵθ(zt,t,c)\epsilon_\theta(\mathbf{z}_t, t, \mathbf{c})
  3. 调度系数控制每一步扣掉多少噪声、保留多少画面信息。
    αt,βt\alpha_t, \beta_t
  4. 随机项保留一点探索噪声，让生成画面更多样、不呆板。
    σtη\sigma_t \eta
  5. 整体迭代从 t=1000 一路推回 t=0，粗胚逐渐精修成成品。
    zt−1←zt\mathbf{z}_{t-1} \leftarrow \mathbf{z}_t

时间一致性模块：防穿帮的剪辑师

看过穿帮镜头吗？前一秒茶杯还在桌上，后一秒就消失了。如果每一帧都单独生成，视频就特别容易出现这种“跳变”，行话叫闪烁。剪辑师的作用，就是死死盯着相邻帧，不许它们各演各的。

主流做法是在扩散网络里插入“时序注意力”层：处理某一帧时，允许它“偷看”前后若干帧的信息，用邻居的内容来校正自己。当前帧是“提问的演员”，前后帧是“搭戏的群演”，每帧根据群演的线索决定自己该调整多少：

更严格的剧组还会请“光流总监”——光流可以理解为画面中每个像素的运动方向。用光流约束相邻帧的运动场平滑，相当于明确要求“茶杯的移动轨迹要连续”，而不是“茶杯不许动”。前者允许合理运动，后者只能静止，所以光流约束能生成更自然的动作。有了剪辑师和光流总监盯场，产出的片段才像“一段自然运动的画面”，而不是“高级幻灯片”。到验收环节，就该影评人登场了。

hiout=hiin+∑j∈Ω(i)softmax(QiKj⊤d)Vj\displaystyle \mathbf{h}_i^{\mathrm{out}} = \mathbf{h}_i^{\mathrm{in}} + \sum_{j \in \Omega(i)} \mathrm{softmax} \left( \frac{\mathbf{Q}_i \mathbf{K}_j^{\top}}{\sqrt{d}} \right) \mathbf{V}_j
当前帧先问“我该像谁”，再从时空邻域里找答案加权融合，让每一帧都长得像“同一部电影里的连续镜头”。
  1. 当前帧特征第 i 帧在潜空间中的表示，比如“猫的轮廓”。
    hi\mathbf{h}_i
  2. 时空邻域同一时刻前后若干帧的范围，让模型能“看上下文”。
    Ω(i)\Omega(i)
  3. 当前帧提问按照自己的内容生成查询向量。
    Qi\mathbf{Q}_i
  4. 邻居提供线索每个相邻帧贡献键和值，供当前帧检索参考。
    Kj,Vj\mathbf{K}_j, \mathbf{V}_j
  5. 加权融合把邻居信息按相关性加权求和，叠加回自身特征。
    ∑j∈Ω(i)softmax(⋅)Vj\sum_{j \in \Omega(i)} \mathrm{softmax}(\cdot) \mathbf{V}_j

生成质量评估：审片会的双轨制

电影拍完，制片人不会自己盯着看几遍就拍板，而是组织审片会。AI 模型也一样，评估环节决定模型能不能上线。审片会有两条轨道：机器客观指标和真人主观评分，缺一不可。

客观指标由程序自动计算，像“测光表”一样精确、可复现：画面清不清晰、动作连不连贯、内容贴不贴题，都有对应的数值。但机器测不出“感觉”，于是还要请真人主观打分——常见的做法是请一批评估者对生成视频逐条打分（比如 1 到 5 分），最后取平均，这就是 MOS（平均主观评分）：

关键是“人机结合”：机器先做海量初筛，把明显不合格的批次直接刷掉，节省人力；真人再对幸存的小样本精评，弥补机器在“美感”“语义微妙之处”上的盲区。不同业务侧重的轨道也不一样——短视频要快，客观指标多些；电影预演要质感，真人评审权重大些。审片会的结论不只是“过/不过”，更是优化路线图，下一节就来看看影评人手里那张具体的评分卡。

MOS=1N∑i=1Nsi\displaystyle \mathrm{MOS} = \frac{1}{N} \sum_{i=1}^{N} s_i
一句“好看”没法量化，但 20 个评委打分的平均值，就可以拿来横向比较两个模型谁更讨人喜欢。
  1. 评委员打分第 i 位评委给出的分数，比如 4 分。
    sis_i
  2. 评委人数参与评审的人数，人越多越稳定。
    NN
  3. 取平均把所有人的意见压成一个可比较的数值。
    1N∑i=1Nsi\frac{1}{N} \sum_{i=1}^{N} s_i

常用评估指标：影评人的四张评分卡

每一位影评人手里都有几张固定的评分卡，每张负责一个维度。T2V 领域最常出现的四张卡是：FVD、CLIP 相似度、时序一致性、IS 多样性。

FVD（Fréchet 视频距离）是最核心的“风格卡”：它把真实视频和生成视频分别用一个专门“看视频”的特征网络（I3D）变成统计特征，然后比较两组特征分布的差距。通俗地说，就是把“院线大片的统计画风”和“生成视频的统计画风”放在同一把尺子上量，看差多远：

第二张卡“CLIP 相似度”负责贴题：分别用 CLIP 编码视频画面和文本，算余弦相似度，越高说明画面越符合提示词。第三张卡“时序一致性”直接度量相邻帧的差异，越低说明越不闪。第四张卡 IS（Inception Score）关注多样性，避免模型翻来覆去只生成同一个画面。评分卡要组合着看：CLIP 高但 FVD 差，说明“贴题但不真实”；FVD 好但时序分差，说明“风格像但动作在跳”。只有多张卡一起读，才能判断成片到底行不行。

FVD=∥μr−μg∥22+Tr(Σr+Σg−2(ΣrΣg)1/2)\displaystyle \mathrm{FVD} = \left\| \boldsymbol{\mu}_r - \boldsymbol{\mu}_g \right\|_2^2 + \mathrm{Tr} \left( \boldsymbol{\Sigma}_r + \boldsymbol{\Sigma}_g - 2 \left( \boldsymbol{\Sigma}_r \boldsymbol{\Sigma}_g \right)^{1/2} \right)
FVD 越低，说明生成视频的“整体统计气质”越接近真实视频；它看的是人群画像，不是单个长相。
  1. 特征均值真实视频与生成视频在 I3D 特征空间里的平均位置。
    μr,μg\boldsymbol{\mu}_r, \boldsymbol{\mu}_g
  2. 协方差矩阵两组特征的离散程度，衡量画面丰富度。
    Σr,Σg\boldsymbol{\Sigma}_r, \boldsymbol{\Sigma}_g
  3. 均值距离平均风格差多远。
    ∥μr−μg∥22\left\| \boldsymbol{\mu}_r - \boldsymbol{\mu}_g \right\|_2^2
  4. 协方差距离多样性分布差多远。
    Tr(Σr+Σg−2(ΣrΣg)1/2)\mathrm{Tr} \left( \boldsymbol{\Sigma}_r + \boldsymbol{\Sigma}_g - 2 \left( \boldsymbol{\Sigma}_r \boldsymbol{\Sigma}_g \right)^{1/2} \right)

应用与优化：从样片到正式上映

审片会出了报告，下一步就是优化。用户改动不了模型参数，但可以通过“提示词”和“引导强度”这两个旋钮来调整输出——就像导演通过现场调度和后期调色，让影片风格朝想要的方向靠。

提示词工程是“剧本微调”：加上风格词（“电影感、逆光、浅景深”）、主体词（“橘猫、窗台、夕阳”）、运动词（“缓慢转头、耳朵抖动”），模型就更听话。而 CFG（分类器引导）的引导强度 w，是“剧本影响力旋钮”：它放大“照着剧本拍”和“自由发挥”之间的差别，公式如下：

实际工程里，引导强度取值要靠小批量试跑来定，过小会跑题，过大会过曝。落地场景上，短视频创意预演、影视分镜推敲、电商广告素材生成，都在用这套流程。从一句话剧本到一场审片会，再到调好旋钮正式上映，T2V 的完整闭环就是这样——看懂架构和评估，你就既看得懂这个数字剧组的分工，也拿得准成片的质量了。

ϵ^θ=ϵθ(zt,∅)+w⋅(ϵθ(zt,c)−ϵθ(zt,∅))\displaystyle \hat{\epsilon}_\theta = \epsilon_\theta(\mathbf{z}_t, \varnothing) + w \cdot \left( \epsilon_\theta(\mathbf{z}_t, \mathbf{c}) - \epsilon_\theta(\mathbf{z}_t, \varnothing) \right)
w=0 时剧组完全自由发挥，不看剧本；w 越大越贴题，但太大会让画面饱和、色彩失真，像演员用力过猛。
  1. 无条件预测完全不看剧本时模型会怎么画。
    ϵθ(zt,∅)\epsilon_\theta(\mathbf{z}_t, \varnothing)
  2. 有条件预测照剧本画的结果。
    ϵθ(zt,c)\epsilon_\theta(\mathbf{z}_t, \mathbf{c})
  3. 创作方向剧本带来的“偏向力”。
    ϵθ(zt,c)−ϵθ(zt,∅)\epsilon_\theta(\mathbf{z}_t, \mathbf{c}) - \epsilon_\theta(\mathbf{z}_t, \varnothing)
  4. 引导强度放大或抑制剧本影响的旋钮，工程上通常取 3 到 9 之间。
    ww

AI 应用场景

短视频平台批量创意预演

阶段：提示词设计 + 模型推理

解决的问题：传统做创意 demo 靠实拍或剪辑，一条脚本动辄花几天、烧几千块预算；算法层面更是只能“凭感觉”调参，无法快速比较不同模型版本的效果。

具体案例：某短视频团队把“春日野餐、俯拍、暖色调”“雨夜霓虹、城市漫步、电影感”等 50 条脚本批量喂给 T2V 模型，生成后用 CLIP 相似度自动排序，淘汰掉贴题度不足的 40 条，留下的 10 条再请运营做 MOS 人评，最终选出 3 条进入实拍改编，整个预演周期从两周压缩到一天。

影视广告分镜预演

阶段：质量评估 + 人机结合审片

解决的问题：导演需要快速看到分镜效果，但逐条实拍分镜成本极高；纯靠想象力又容易在开拍后发现构图、节奏有问题，返工代价大。

具体案例：一支汽车广告团队用 T2V 生成 200 条分镜草稿，先用 FVD 和 IS 做机器初筛，淘汰风格偏差大、画面重复的批次；剩下 30 条请导演和创意总监按 1-5 分主观评审，结合 MOS 分数敲定 3 条进入实拍。导演反馈“粗糙但有灵魂”，整体预演成本下降了约七成。

电商主图视频批量生成

阶段：模型微调 + 指标监控

解决的问题：电商商品 SKU 多、预算少，逐个实拍不现实；人工审核批量生成视频又容易漏掉“动作跳变、画面贴题差”的问题素材。

具体案例：某电商团队用提示词模板批量生成“商品缓慢转动、背景虚化”的主图视频，每条产出后自动计算时序一致性分数和 CLIP 贴题度，设定双阈值过滤：时序分低（穿帮明显）或贴题度不足的自动进入“待重修”队列，合格者直接上线素材库，人力审核量减少八成。

Python 演示

python68 行
import numpy as np  def generate_frames(n_frames=8, h=32, w=32, noise_sigma=0.05, seed=42):    # 模拟"美术团队"产出的视频帧: 基础画面 + 缓慢运动 + 随机噪声    rng = np.random.default_rng(seed)    base = rng.random((h, w)) * 0.5 + 0.25    frames = []    for i in range(n_frames):        frame = base + (i / n_frames) * 0.3 + rng.normal(0, noise_sigma, (h, w))        frames.append(np.clip(frame, 0.0, 1.0))    return np.stack(frames)  def clip_frame(frames, proj):    # 模拟 CLIP 视觉特征: 把每帧展平后投影到低维特征空间    flat = frames.reshape(frames.shape[0], -1)    return flat @ proj  def temporal_consistency(frames):    # "剪辑师查穿帮": 相邻帧差异越小越连贯    diff = np.abs(np.diff(frames, axis=0))    return 1.0 - float(diff.mean())  def sharpness(frames):    # 画面清晰度: 用梯度强度近似衡量边缘锐利程度    gy, gx = np.gradient(frames, axis=(1, 2))    return float(np.sqrt(gx ** 2 + gy ** 2).mean())  def cos_sim(a, b):    # "影评人查贴题": 特征向量余弦相似度    return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b) + 1e-8))  def frechet_distance(mu_r, mu_g, var_r, var_g):    # 一维特征上的 FVD: 均值距离 + 方差距离, 数值越低分布越接近    diff_mean = ((mu_r - mu_g) ** 2).mean()    diff_var = (var_r + var_g - 2 * np.sqrt(var_r * var_g + 1e-8)).mean()    return float(diff_mean + diff_var)  def main():    rng = np.random.default_rng(7)    text_emb = rng.normal(size=8)                # 模拟 CLIP 文本特征    proj = rng.normal(size=(32 * 32, 8)) / 32.0  # 随机投影矩阵    gen_frames = generate_frames(noise_sigma=0.05, seed=1)   # 生成视频    real_frames = generate_frames(noise_sigma=0.02, seed=2)  # 真实参考视频    gen_feat = clip_frame(gen_frames, proj)    real_feat = clip_frame(real_frames, proj)     tc = temporal_consistency(gen_frames)    sharp = sharpness(gen_frames)    align = cos_sim(gen_feat.mean(axis=0), text_emb)    fvd = frechet_distance(real_feat.mean(axis=0), gen_feat.mean(axis=0),                           real_feat.var(axis=0), gen_feat.var(axis=0))     print("=== Video Quality Report ===")    print("temporal consistency:", round(tc, 3))    print("sharpness           :", round(sharp, 3))    print("text-video alignment:", round(align, 3))    print("FVD (lower better)  :", round(fvd, 3))  if __name__ == "__main__":    main()
目的：用 NumPy 模拟一个迷你“数字剧组”——随机生成视频帧，然后按正文讲的指标给这段视频出具质量评估报告。
  1. frame = base + (i / n_frames) * 0.3 + rng.normal(0, noise_sigma, (h, w))每一帧在基础画面上推进一点运动、叠一点噪声，模拟“美术团队逐帧作画”。
  2. frames.append(np.clip(frame, 0.0, 1.0))把像素钳制到合法范围，防止画面溢出。
  3. flat = frames.reshape(frames.shape[0], -1)把每帧展平成一维，模拟“先用特征网络看视频”。
  4. diff = np.abs(np.diff(frames, axis=0))计算相邻帧的像素差，正是“剪辑师查穿帮”的动作。
  5. gy, gx = np.gradient(frames, axis=(1, 2))用梯度强度近似画面清晰度，边缘越锐利数值越高。
  6. align = cos_sim(gen_feat.mean(axis=0), text_emb)计算视频特征与文本特征的余弦相似度，对应“影评人查贴题”。
  7. fvd = frechet_distance(...)计算分布距离，对应“风格评分卡” FVD。

常见误区

误区初学者以为 T2V 就是文生图模型逐帧生成、再拼成视频，反正每一帧都足够清晰就行，帧与帧之间不需要特殊处理。

正解帧间一致性必须靠专门的时序模块来保证。就好比让同一位演员分别拍 24 个独白镜头再硬拼接，眼神、动作、光线全对不上，观众立刻出戏。T2V 里的时序注意力、光流约束，就是保证“同一位演员从头演到尾”的关键，不是可有可无的装饰。

为何常见：因为第一眼看生成结果时，注意力都放在“单帧清不清晰”上，忽略了视频的灵魂在于“帧与帧之间的连续感”。

误区不少人用 CLIP 相似度作为唯一质量指标，认为分数上涨成片就一定更好，甚至用它来筛选所有素材。

正解CLIP 分数只回答一个问题——“画面和提示词像不像”；它完全不看动作是否连贯、画面是否闪烁、细节是否真实。好比影评人只说“题材很贴题”，却完全不提演技和剪辑，这份影评显然不完整。质量评估必须把 CLIP、FVD、时序一致性、IS 组合起来看。

为何常见：因为 CLIP 计算简单、数字直观，“贴题度越高越好”的直觉很容易让人把它当成万能指标。

误区有人认为 FVD 是逐条质检工具，某个视频 FVD 低就代表这条视频一定逼真，可以用来给单条样片背书。

正解FVD 是分布级别的指标，需要成百上千条生成视频和真实视频做统计对比才有意义，单条样本算不出稳定的 FVD。它回答的是“这批生成视频的整体气质像不像真实视频”，而不是“这一条像不像真的”。就像上座率统计，某一场满座不能说明全年票房就好。

为何常见：因为“数值越低越好”的直觉很强，而分布统计的样本量要求往往被忽略。

误区一些入门者看到训练时往视频上叠加噪声，觉得这是在破坏数据，认为噪声越多模型学得越差，训练时应该尽量避免加噪。

正解加噪是刻意设计的训练信号。扩散模型的学法是“先弄花、再预测噪声、反向修复”，没有噪声就没有学习对象。好比水墨画家先泼墨再借势收拾——泼墨不是失误，而是创作步骤。噪声调度（t 从 0 到 1000）让模型见过各种模糊程度的画面，推理时才能从纯噪声逐步还原出清晰视频。

为何常见：因为日常生活中“噪声 = 画质差”的直觉被直接搬到了训练机制里，没意识到这里的噪声是“教材”。

面试题

Q1. 在“剧组”比喻中，文本编码器相当于哪个角色？

单选题 · easy

  • A.把剧本翻译成剧组分镜语言的编剧← 正确答案
  • B.负责现场调度演员的导演助理
  • C.专门剪辑视频素材的后期剪辑师
  • D.负责灯光与摄影器材的场务组

答案：A。文本编码器把人类句子翻译成语义向量，供整个生成管线使用，对应“编剧把剧本翻译成分镜语言”。导演助理偏调度、剪辑师管素材拼接、场务管器材，都不承担“语言翻译”职责。

Q2. 视频VAE相比图像VAE，核心区别是多做了什么？

单选题 · easy

  • A.额外压缩了视频的时间维度← 正确答案
  • B.额外提高了文本的语义强度
  • C.额外增加了噪声的采样步数
  • D.额外引入了光流的运动约束

答案：A。视频是“帧序列”，除了每帧的空间压缩，还必须沿时间轴压缩（降帧率、缩时长）。提高语义强度是文本编码器的事，增加采样步数是扩散网络的事，光流约束属于时间一致性模块。

Q3. 扩散模型训练阶段的主要任务是学会什么？

单选题 · mid

  • A.从带噪画面中预测注入的噪声← 正确答案
  • B.把视频画面直接压缩成文本
  • C.评估生成视频画面的清晰度
  • D.匹配提示词与图像的风格

答案：A。扩散训练的目标是让网络预测之前加进去的噪声（噪声预测损失），推理时通过反向迭代去噪生成画面。压缩成文本是编码器的事，评估清晰度是质量指标的事，风格匹配只是文本编码器语义对齐的一部分。

Q4. FVD指标数值越低代表什么？

单选题 · mid

  • A.生成视频与真实视频分布越接近← 正确答案
  • B.生成视频的文件体积显著更小
  • C.生成视频的播放速度变得更快
  • D.生成视频的文本提示更加简洁

答案：A。FVD 度量真实视频与生成视频在特征空间里的分布距离，越低说明整体统计气质越接近真实视频。它与文件体积、播放速度、提示词长度没有关系。

Q5. 关于CFG分类器引导的作用，下列说法正确的是？

单选题 · mid

  • A.放大文本条件对生成方向的影响← 正确答案
  • B.减小扩散模型本身的参数量
  • C.缩短视频成片的实际播放时长
  • D.让噪声预测网络完全停止工作

答案：A。CFG 通过加权放大“有条件预测”与“无条件预测”的差值，强化文本条件对生成方向的引导。它不改变参数量、不影响播放时长，更不会让网络停止工作。

Q6. 下列哪些属于T2V视频质量的客观评估指标？

多选题 · mid

  • A.FVD分布距离← 正确答案
  • B.CLIP语义相似度← 正确答案
  • C.观众主观好感度
  • D.帧间时序一致性← 正确答案

答案：ABD。客观指标由程序自动计算、可复现，包括 FVD、CLIP 相似度、时序一致性等。观众主观好感度属于人评（MOS）范畴，是主观指标，不能归入客观指标。

Q7. 用多个独立图像模型逐帧生成视频，最可能出现什么问题？

单选题 · hard

  • A.帧间闪烁导致画面时序不连贯← 正确答案
  • B.单帧分辨率降低清晰度变差
  • C.文本编码能力变差语义丢失
  • D.时间维度压缩导致体积爆炸

答案：A。逐帧独立生成时，帧与帧之间没有共享时序信息，同一个物体在不同帧会随机变化，形成闪烁与穿帮。图像模型本身分辨率不差、文本编码不受影响、也没有时间压缩环节，这些都不是逐帧独立生成的典型后果。

Q8. 时间一致性模块通常采用哪些手段增强帧间连贯？

多选题 · mid

  • A.引入时序注意力机制← 正确答案
  • B.使用光流约束帧间运动← 正确答案
  • C.逐帧独立采样并随机拼接
  • D.完全改用图像生成模型

答案：AB。时序注意力让当前帧参考前后帧特征，光流约束让像素运动轨迹连续，两者都是主流手段。逐帧独立采样恰是闪烁的根源，改用图像模型更是南辕北辙。

Q9. 关于FVD评估，以下说法正确的是？

单选题 · hard

  • A.需要大量样本才能稳定计算分布距离← 正确答案
  • B.用一张图片即可完成全部评估流程
  • C.只衡量文本与视频的语义对齐程度
  • D.数值越大代表生成视频质量越好

答案：A。FVD 是分布级指标，必须用成百上千条视频样本统计均值与协方差才有意义，单条样本无法稳定计算。它衡量的是视频分布而非文本对齐，而且数值越低越好。

Q10. 生成视频出现“穿帮跳变”时，可尝试的优化手段有哪些？

多选题 · extreme

  • A.增强时序注意力与帧间一致性约束← 正确答案
  • B.提高CFG引导强度并精调提示词← 正确答案
  • C.彻底删除文本编码器改用随机噪声
  • D.使用统一视频数据微调时序模块参数← 正确答案

答案：ABD。时序注意力与一致性约束直接针对穿帮；CFG 与提示词精调能让运动描述更明确，间接减少跳变；用高质量视频数据微调时序模块也是工程常用的修复手段。删除文本编码器会让模型彻底失去语义控制，只会更糟。