假设你是一位导演,想拍一部一镜到底的长电影。你没有摄影机,也没有演员,只有一支庞大的画师团队——他们每秒为你画 24 张画,拼成连贯的画面。第一位画师画得美轮美奂,第二位也无可挑剔。可第三位把主角的红贝雷帽画成了灰色,第五位让掉到桌上的杯子径直穿桌而过,第十位干脆忘了客厅的门原来在左边。每一张画单独看都是艺术品,串起来却满屏穿帮。 这就是 Sora 的处境。作为最受瞩目的视频生成模型,它能凭一句提示词生成画面惊艳的短视频,可一旦视频变长,它就像一位不请物理顾问、也不给画师发角色设定图的导演——物体开始“变身”、碰撞不再守恒、因果链断裂、空间布局漂移。这些缺陷背后,正是长视频生成的两大根本难题:时序一致性与物理仿真。本文就跟随这位导演和他的画师军团,拆解 Sora 的技术手段、现存短板,以及学术界正在探索的突围之路。

岗位关联

吃透这些技术瓶颈,你就能准确判断 AIGC 视频产品的交付边界——哪些活能交给 AI,哪些必须人工兜底。这是多模态算法工程师、AIGC 产品经理的必修课,也是面试中高频考察的“懂行”问题。

目录
  1. 可视化演示
  2. 长视频困境
  3. 物体持久性
  4. 碰撞物理
  5. 因果推理
  6. 空间一致性
  7. 技术手段
  8. 突破方向
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

动态演示Sora长视频一致性与物理仿的核心机制,通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

本节配有交互动效(进入视口后自动加载,约 3KB)。

Sora长视频一致性与物理仿:物体持久 物体持久性与跨帧身份保持 碰撞物理与刚体交互模拟 核心机制可视化 Sora长视频一致性与物理仿整体架构与关键组件

长视频困境

想象一位导演要拍一部一镜到底的长电影,他没有摄影机,只有几百位画师,每人负责画一秒画面。第一位画师画得惊艳,第二位也无可挑剔,但轮到第三位时——主角的眉毛变粗了,第五位的画面里,西装变成了灰色。单独看每一幅画都值得收藏,连起来看却满是“人设崩塌”。

这正是 Sora 的处境。它能凭一句提示词生成数十秒流畅视频,但视频越长,“画师们”之间越难对齐。业界把这种问题统称为时序一致性:相邻帧必须连续自然,远处帧更不能忘掉前面的信息。片段短时,模型靠强大的单帧生成能力就能蒙混过关;一拉长,矛盾就藏不住了。

Sora 基于扩散模型:从纯噪声出发,逐步去噪还原成视频。它的训练目标只有一个——预测噪声。也就是说,模型学的是“如何把噪声变成像视频的东西”,而不是“世界如何运转”。目标函数里没有任何一项直接奖励时间一致性,所以一致只能靠模型从海量数据中“自觉”领悟,领悟得不牢,长片段就会崩。

导演的团队训练时只被考核“单幅画漂不漂亮”,从没被考核“三秒后主角还是不是主角”。于是,画得越长,穿帮越多。长视频困境的本质,就是“画好单帧”与“讲好连续故事”之间的鸿沟。

Ldiff=Et,x0,ε[∥ε−εθ(xt,t)∥2]\displaystyle \mathcal{L}_{\text{diff}} = \mathbb{E}_{t,\mathbf{x}_{0},\boldsymbol{\varepsilon}}\left[\left\|\boldsymbol{\varepsilon}-\boldsymbol{\varepsilon}_{\theta}\left(\mathbf{x}_{t},t\right)\right\|^{2}\right]
白话版本:把“加过噪声的模糊画面”交给神经网络,让它猜出刚才加的噪声是什么,猜得越准,生成的画面越干净。
  1. 期望算子对所有训练视频、随机时间步和随机噪声取平均,衡量模型平均犯错的幅度。
    Et,x0,ε\displaystyle \mathbb{E}_{t,\mathbf{x}_{0},\boldsymbol{\varepsilon}}
  2. 带噪画面把干净帧 $\mathbf{x}_0$ 与噪声 $\boldsymbol{\varepsilon}$ 按权重混合,得到“被污染”的中间画面;时间步 $t$ 越大污染越重。
    xt=αˉtx0+1−αˉtε\displaystyle \mathbf{x}_{t}=\sqrt{\bar{\alpha}_{t}}\mathbf{x}_{0}+\sqrt{1-\bar{\alpha}_{t}}\boldsymbol{\varepsilon}
  3. 噪声预测器神经网络 $\boldsymbol{\varepsilon}_{\theta}$ 输入带噪画面与时间步,输出它猜到的噪声。
    εθ(xt,t)\displaystyle \boldsymbol{\varepsilon}_{\theta}\left(\mathbf{x}_{t},t\right)
  4. 均方误差真实噪声与预测噪声的差的平方,模型训练就是把这个值压到最小。
    ∥ε−εθ(xt,t)∥2\displaystyle \left\|\boldsymbol{\varepsilon}-\boldsymbol{\varepsilon}_{\theta}\left(\mathbf{x}_{t},t\right)\right\|^{2}

物体持久性

电影第一幕,侦探戴着红色贝雷帽走进咖啡馆;第二幕帽子变成灰色;第三幕,他身后突然多出两个一模一样的背影。观众揉着眼睛问:这是平行宇宙吗?画师团队分工时,有人记错了帽子的颜色,有人手一抖多画了人。

这个“同一个物体在整段视频中保持同一身份”的问题,叫物体持久性。它包含三个层面:身份一致(还是那个杯子)、数量守恒(一个杯子不会变成两只)、遮挡后重现(被手挡住再露出时还是它)。Sora 在 3 秒短片里近乎完美,但场景一复杂、时长一拉长,杯变瓶、人消失、凭空多出物体的现象层出不穷。

根源在于模型没有“实体”概念。Sora 把图像切成 patch 当成 token 处理,注意力只能感知“这块像素像那块像素”,却不知道“它们是同一个物理物体在不同时刻的样子”。生成过程中没有任何模块记录“主角到底长什么样”,于是身份全靠像素间的模糊相似性维持。评估时常用交并比(IoU)衡量相邻帧目标框的重叠程度,来判断物体是否被稳定跟踪。

画师们若能共享一张“角色设定图”,帽子就不会变色。Sora 缺的正是这样一张跨帧的设定图——物体持久性因此成为长视频第一号穿帮源。

IoU(Bt,Bt+1)=∣Bt∩Bt+1∣∣Bt∪Bt+1∣\displaystyle \mathrm{IoU}\left(B_{t},B_{t+1}\right)=\frac{\left|B_{t}\cap B_{t+1}\right|}{\left|B_{t}\cup B_{t+1}\right|}
白话版本:把同一物体在前后两帧的“包围盒”重叠度当成分数,重叠越多,说明物体越“没换人”。
  1. 目标框$B_t$ 和 $B_{t+1}$ 分别是第 $t$ 帧与第 $t+1$ 帧检测出的物体包围盒。
    Bt,  Bt+1\displaystyle B_{t},\;B_{t+1}
  2. 交并像素分子是两个框重叠的像素区域,分母是两个框合并覆盖的总像素区域。
    ∣Bt∩Bt+1∣,∣Bt∪Bt+1∣\displaystyle \left|B_{t}\cap B_{t+1}\right|,\quad \left|B_{t}\cup B_{t+1}\right|
  3. 重叠率比值越接近 1,说明同一物体在相邻帧中被跟得越稳;生成模型常在此值上剧烈波动。
    ∩∪∈[0,1]\displaystyle \frac{\cap}{\cup}\in[0,1]

碰撞物理

舞台上,演员把玻璃杯放在桌上,杯子径直穿过桌面悬在半空;把球扔向墙壁,球像幽灵一样穿墙而过。观众先是惊愕,随后笑成一片。画师们各自画了“杯子”和“桌子”,却从没人想过“杯子碰到桌子会发生什么”。

碰撞物理是物理仿真的最直观考题。真实世界遵循动量守恒:两个小球相撞,总动量不变;有形变、有摩擦、有声音。Sora 在海量视频里见过无数次碰撞,却没有一条规则要求它遵守牛顿定律,它只能从像素上“模仿”碰撞的样子。

模仿的极限很快暴露:模型内部没有质量、速度、力这些变量,它的世界里只有颜色和形状。于是碰撞变成“两张剧照的拼接”——碰前是球,碰后还是球,中间的过程被省略。动量守恒方程在模型里根本没有安放的位置。这也是为什么 Sora 生成的碰撞常表现为互相穿过、没有形变、没有二次弹跳。

那位不懂物理的导演能画出“碰撞前”和“碰撞后”两张精彩剧照,却画不出中间的“砰”。要让 Sora 画出“砰”,必须在模型内部装一个真正遵循动量守恒的物理引擎。

m1v1+m2v2=m1v1′+m2v2′\displaystyle m_{1}\mathbf{v}_{1}+m_{2}\mathbf{v}_{2}=m_{1}\mathbf{v}_{1}'+m_{2}\mathbf{v}_{2}'
白话版本:两个球相撞前后的“质量乘速度加起来要相等”,这是牛顿给世界定的硬规矩,但 Sora 的世界里没有这把尺子。
  1. 碰前动量动量等于质量乘速度,$m_1\mathbf{v}_1 + m_2\mathbf{v}_2$ 是碰撞前两物体总动量。
    m1v1+m2v2\displaystyle m_{1}\mathbf{v}_{1}+m_{2}\mathbf{v}_{2}
  2. 碰后动量撇号表示碰撞后的速度,碰后各自速度变化,但总和不变。
    m1v1′+m2v2′\displaystyle m_{1}\mathbf{v}_{1}'+m_{2}\mathbf{v}_{2}'
  3. 守恒条件无外力时总动量恒定;Sora 的像素世界里没有质量与速度,这个等号无处安放。
    ∑mv=const\displaystyle \sum m\mathbf{v}=\mathrm{const}

因果推理

又一幕戏:主角推倒第一块多米诺骨牌,镜头一切,最后一排骨牌倒了,中间的却完好无损。观众懵了:发生了什么?画师只画了开头和结尾,省略了中间所有环节,因为他不知道“推倒一块牌”必然引发“连锁反应”。

这种“动作引起结果”的逻辑链,就是因果推理。敲门声要响起,屋里人才会来开门;石头入水,要先有水花。模型要把因果链条上的每一环都呈现出来,观众才觉得真实。而统计学习给模型的,只是“敲门”和“开门”经常共现的关联,不是“敲门导致开门”的机制。

因果要求动作对结果有真实的干预效应:给定动作 A,结果 B 的概率发生显著变化。但模型只有在数据里见过“敲门后开门”,才学会画开门;“敲门后没人应”的样本少,它就把中间态吞掉了。它没有“因为-所以”的推理结构,只有“共现-联想”的统计直觉。长视频给了这种“偷懒”足够多的暴露机会。

导演手上只有一本“统计关系本”,没有“剧情逻辑本”。于是长片里,因果链像多米诺骨牌一样断在观众看不见的角落里。

P(B∣A)≠P(B)\displaystyle \mathbb{P}\left(B\mid A\right)\neq \mathbb{P}\left(B\right)
白话版本:如果“敲门”这个动作确实让“开门”的概率明显变大,两者才有因果关系;而 Sora 只会画“两个画面常一起出现”。
  1. 条件概率在动作 A 发生的条件下,结果 B 出现的概率,代表“如果敲门,开门的概率”。
    P(B∣A)\displaystyle \mathbb{P}\left(B\mid A\right)
  2. 边缘概率不限定 A 时 B 自然出现的概率,代表“不加任何前提时,开门本来就有的概率”。
    P(B)\displaystyle \mathbb{P}\left(B\right)
  3. 显著差异两者明显不同说明 A 与 B 存在依赖;若伴随时序先后,则可构成因果。模型只学了共现,学不会“为什么”。
    ≠\displaystyle \neq

空间一致性

主角推开客厅的门走出去,镜头跟拍,切回客厅时——门消失了,墙上多了一扇窗。画师们各画各的背景,有人凭记忆画了门,有人自由发挥画了窗,空间彻底错乱。

空间一致性要求场景布局、物体相对位置、相机运动与透视关系在整段视频里保持稳定。真实摄像机拍摄时,世界是刚性的三维场景,相机转动、平移都会严格改变物体在画面中的位置——这是由投影几何决定的,不容商量。生成模型却没有显式的三维场景表示,一切都在二维像素平面上“猜”。

透视投影告诉我们:三维世界点经过相机内参矩阵,被映射到二维像素坐标。相机移动时,这个映射随之变化。Sora 的注意力机制只能让模型“记得画面某处似乎出现过一扇门”,但无法把门的空间位置钉死在三维坐标上,于是随着镜头运动,门会漂移、缩放、甚至消失。

画师们画同一间客厅,却没有人手里有一张“三维建模图”。空间一致性就是 Sora 缺失的那本建模图册——没有它,布景永远是浮动的。

z[uv1]=K[XYZ]\displaystyle z\begin{bmatrix}u\\v\\1\end{bmatrix}=\mathbf{K}\begin{bmatrix}X\\Y\\Z\end{bmatrix}
白话版本:三维世界里的“门”通过相机镜头“投影”到二维画面;镜头一动,门在画面里的位置必须按几何规则变,不能随心所欲。
  1. 世界坐标$(X,Y,Z)$ 是物体在三维场景中的真实位置,比如“门”在世界里的坐标。
    [XYZ]\displaystyle \begin{bmatrix}X\\Y\\Z\end{bmatrix}
  2. 内参矩阵$\mathbf{K}$ 由焦距、主点决定,刻画镜头如何把世界“压”到画面。
    K\displaystyle \mathbf{K}
  3. 像素坐标$(u,v)$ 是世界点在画面上的像素位置,$z$ 是深度;相机一动,$u,v$ 必须随投影几何同步变化。
    [uv1]\displaystyle \begin{bmatrix}u\\v\\1\end{bmatrix}

技术手段

不过,这位导演也并非毫无对策。他给每位画师发了一个步话机,让大家边画边喊:“我刚才画的是红帽子!”“这边的门在左边!”画师之间可以互相校对。这个步话机系统,就是 Sora 的时空注意力机制。

Sora 的技术底座是扩散 Transformer(DiT),配合视频压缩网络。原始视频先被压缩到低维潜空间,再被切成时空 patch——即在时间、宽、高三维上切出的小立方块。每个 patch 被线性投影成一个 token,进入 Transformer 的自注意力层,让所有 token 彼此“看到”,从而在片段内互相约束风格与内容。

自注意力是强大的“协作机制”:相邻帧的 patch 关联紧密,所以短片段表现惊艳。但注意力复杂度随 token 数增长,视频越长、patch 越多,模型越难维护全局一致;而且注意力是两两相关的软约束,不是“必须遵守”的硬规则。所以时间一长,远处的画师渐渐听不见步话机。

步话机让近处的画师配合默契,却传不到长镜头的远端。注意力是沟通的桥,不是记忆的库——这正是 Sora 技术底座的天花板。

zi=Wepi+be\displaystyle \mathbf{z}_{i}=\mathbf{W}_{e}\mathbf{p}_{i}+\mathbf{b}_{e}
白话版本:把切成小块的时空画面,通过一个可学习的矩阵“翻译”成模型能处理的编号(token),再丢进注意力大熔炉里互相校对。
  1. 时空块$\mathbf{p}_i$ 是从视频中切出的小立方块(时间×宽×高),每个块是一小段“时空画面”。
    pi\displaystyle \mathbf{p}_{i}
  2. 线性投影可学习矩阵 $\mathbf{W}_e$ 与偏置 $\mathbf{b}_e$ 把像素块压成一个低维向量。
    We,  be\displaystyle \mathbf{W}_{e},\;\mathbf{b}_{e}
  3. 输入 token$\mathbf{z}_i$ 成为 Transformer 的处理单元,patch 之间靠自注意力互相校对。
    zi\displaystyle \mathbf{z}_{i}

突破方向

想让长片不穿帮,最靠谱的办法是改组团队:给导演配一位物理顾问,负责计算重力、碰撞;再配一本世界剧本,记录每个角色长什么样、每个场景门在哪。导演只管讲剧情,物理与记忆交给专业岗位。学术界正是朝这个方向突围的。

三大主流方向:其一,世界模型——让模型显式预测“下一时刻的世界状态”(物体的位置、速度),而不是“下一帧的像素”;其二,把可微物理引擎嵌入生成路径,让动量守恒、碰撞响应成为硬约束;其三,建立统一表征与评测基准,让一致性可以被量化、被优化,而非靠肉眼评估。

世界模型的训练目标是状态预测误差:给定当前状态和动作,预测下一状态。这迫使模型在内部建立“世界如何演化”的动力学,而不是只模仿画面外观。物理引擎融合则相当于给画师发一把“几何物理尺”,碰撞、反弹都必须过尺子。两者结合,Sora 才可能从“画视频的模型”升级为“模拟世界的模型”。

未来的“导演”将不再是一个画师头子,而是一个拥有世界剧本、物理顾问和评测制度的完整剧组。当视频生成从“作画”走向“模拟”,长视频的一致性与物理仿真才算真正破题。

min⁡θ∑t∥st+1−fθ(st,at)∥2\displaystyle \min_{\theta}\sum_{t}\left\|\mathbf{s}_{t+1}-f_{\theta}\left(\mathbf{s}_{t},\mathbf{a}_{t}\right)\right\|^{2}
白话版本:让模型学会“看到此刻世界的状态和动作,就能预告下一刻的状态”,预测得越准,说明它越懂世界运行的规律。
  1. 状态与动作$\mathbf{s}_t$ 是世界的状态(位置、速度、颜色),$\mathbf{a}_t$ 是施加的动作。
    st,  at\displaystyle \mathbf{s}_{t},\;\mathbf{a}_{t}
  2. 预测器$f_\theta$ 是模型学到的世界演化函数,输入“此刻状态+动作”,输出预测的下一状态。
    fθ(st,at)\displaystyle f_{\theta}\left(\mathbf{s}_{t},\mathbf{a}_{t}\right)
  3. 误差最小化预测与真实下一状态的欧氏距离平方,对所有时刻求和并最小化,模型被迫“懂世界”而不是“懂画面”。
    ∥⋅∥2,  min⁡θ\displaystyle \left\|\cdot\right\|^{2},\;\min_{\theta}

AI 应用场景

AIGC 视频质量校验

阶段:内容生成后的质量校验阶段

解决的问题:传统靠人工逐帧审片找穿帮,一条 10 秒片子要盯半小时,效率极低且容易漏检。用物理一致性检测脚本自动扫描视频轨迹,定位“重力异常”“物体身份漂移”的帧区间,人工只需修补异常片段,把质检成本降低一个数量级。

具体案例:某短视频团队用 Sora 生成 15 秒产品广告,发现第 6 秒杯子弹跳违反重力。工程师用轨迹检测脚本自动标出第 6-8 秒为异常帧,仅重生成该区间并拼接,一分钟内完成交付,而不是整条重拍。

自动驾驶仿真数据生成

阶段:训练数据生成与筛选阶段

解决的问题:真实路测数据昂贵且长尾场景难覆盖,用视频生成模型批量生成雨天、夜路、事故等仿真视频成为刚需。但若生成的“车祸”里车辆互相穿过、不符合动量守恒,模型会学到错误的动力学。引入物理一致性过滤器后,不合格仿真样本被自动剔除,训练数据质量才有保障。

具体案例:某智驾团队用世界模型生成雨天路测视频,发现生成的车祸场景中车辆互相穿过。团队在数据管线上加入动量守恒校验,筛掉 23% 的异常样本后,仿真场景在感知与预测任务上的测试通过率明显回升。

游戏过场动画预演

阶段:内容生产阶段

解决的问题:开放世界游戏需要大量过场动画,人工分镜、建模成本极高。用视频生成模型产出草稿动画能大幅提速,但草稿中物体穿帮、角色身份漂移普遍。先跑一致性自检脚本排查,再把干净的草稿交付给绑定师精修,兼顾效率与质量。

具体案例:独立游戏团队用视频生成制作过场动画预演,第一版草稿中 NPC 的服装在镜头切换后变色。借助颜色与轨迹双重校验,团队快速锁定问题帧并重生成,最终动画按时进入管线。

Python 演示

python59 行
# -*- coding: utf-8 -*-"""Video QC mini tool: check gravity consistency and object identity drift.""" import math  def physics_check(track, fps=30, g=60.0, tol=5.0):    """Check frames whose vertical acceleration deviates from gravity g.    track: list of (x, y) pixel coordinates.    Returns: list of (frame_index, estimated_acceleration).    """    bad = []    dt = 1.0 / fps    for i in range(2, len(track)):        ay = (track[i][1] - 2 * track[i - 1][1] + track[i - 2][1]) / (dt * dt)        vy = (track[i][1] - track[i - 1][1]) / dt        if vy > 0 and abs(ay - g) > tol:            bad.append((i, round(ay, 1)))    return bad  def identity_check(frames, threshold=0.12):    """Check color drift against the first frame.    frames: list of (r, g, b) mean colors in [0, 1].    Returns: list of (frame_index, color_distance).    """    bad = []    ref = frames[0]    for i, f in enumerate(frames):        dist = math.sqrt((f[0] - ref[0]) ** 2 +                         (f[1] - ref[1]) ** 2 +                         (f[2] - ref[2]) ** 2)        if dist > threshold:            bad.append((i, round(dist, 3)))    return bad  def simulate_frames(n=60, fps=30, g=60.0):    """Simulate a free-fall ball, then inject two kinds of artifacts."""    track = []    colors = []    for i in range(n):        t = i / fps        y = 100.0 + 0.5 * g * t * t        x = 100.0 + i * 3.0        if 38 <= i < 42:            y -= 90.0          # glitch 1: sudden jump (physics violation)        track.append((x, y))        if 45 <= i < 50:            colors.append((0.9, 0.2, 0.2))   # glitch 2: color drift        else:            colors.append((0.2, 0.6, 0.9))    return track, colors  if __name__ == "__main__":    trk, cols = simulate_frames()    print("physics violations:", physics_check(trk))    print("identity violations:", identity_check(cols))
目的:用二阶差分估算加速度、用颜色距离检测外观漂移,自动找出视频中“物理穿帮帧”和“身份漂移帧”,模拟 Sora 长视频质检流程。
  1. ay = (track[i][1] - 2 * track[i - 1][1] + track[i - 2][1]) / (dt * dt)用二阶差分估算竖直加速度;正常自由落体应约等于 g,异常时说明物理穿帮。
  2. if vy > 0 and abs(ay - g) > tol:只在向下落的方向检查自由落体近似,避免把反弹瞬间误判为异常。
  3. dist = math.sqrt((f[0] - ref[0]) ** 2 + ...)计算每帧平均颜色与首帧颜色的欧氏距离,模拟“画师是否忘了主角长相”。
  4. if 38 <= i < 42: y -= 90.0人为注入“突变穿帮”,模拟 Sora 的物理不一致。
  5. if 45 <= i < 50: colors.append((0.9, 0.2, 0.2))人为注入“身份漂移”,模拟物体持久性失败。
  6. print("physics violations:", physics_check(trk))输出两类质检结果,异常帧一眼可查。

常见误区

误区Sora 生成的视频里碰撞不守恒、因果断裂,肯定是视频数据喂得太少了,多给它看几百万小时视频自然就学会了物理。

正解核心瓶颈不是数据量,而是模型没有显式的物理约束与实体表示。纯视觉的统计学习能学到近似关联,却无法保证硬性的动量守恒和因果链。更多数据只提升“看起来像”的下限,无法消除原理性穿帮——画师看再多真实杯子掉落,也学不会算力与动量。

为何常见:深度学习时代“更多数据=更强能力”的印象深入人心,人们容易忽略生成模型缺乏物理先验这一结构性缺陷。

误区穿帮帧说明模型内部出了 bug,工程师把 bug 修掉,长视频就完美了。

正解这是生成模型的固有问题。扩散模型逐段去噪采样,长序列的误差会累积,且损失函数里根本没有“一致性”和“物理”两项。不是某个 bug,而是架构与目标函数层面没有这些概念的立足之地。

为何常见:工程师思维习惯把“效果差”归因于可修复的缺陷,而忽略了统计生成本质上是概率采样过程,穿帮是结构性的。

误区每一帧都高清又精美,连起来自然就是一段好视频,单帧质量决定一切。

正解单帧质量与时间一致性是两个正交维度。模型可以生成 24 张完美剧照,但串起来主角可能换了脸。真正决定连贯的是时序建模能力,比如时空注意力、物体级记忆、世界模型。

为何常见:人眼对单帧锐度最敏感,容易把“画面质量”等同于“视频质量”,忽略了时间维度才是视频的灵魂。

误区在生成模型后面接一个现成物理引擎,动量守恒、碰撞响应就全部完美了。

正解物理引擎计算的是简化刚体动力学,真实世界还有流体、形变、摩擦等复杂现象;更重要的是,物理引擎的“结果”如何与生成像素融合仍是一个开放难题。物理引擎是拐杖,不是义肢,能明显改善但无法一劳永逸。

为何常见:尝到“硬约束”的甜头后,人们容易高估工业物理引擎在生成任务中的适用范围。

误区官方 demo 明明能生成一分钟连续视频,长视频一致性早就攻克了。

正解官方演示是精心挑选的“高光片段”,很多是一镜到底、镜头运动单一的素材,恰好避开了物体交互和多场景切换。在大量失败样本、复杂场景下,穿帮依旧频繁。demo 的长度不等于可控性,幸存者偏差让宣传视频显得比真实能力完美得多。

为何常见:以宣传片作为产品能力的评估样本,忽略了发布方只会展示最好结果这一传播规律。

面试题

Q1. Sora 生成视频采用的核心架构是?

单选题 · easy

  • A.纯文本生成Transformer
  • B.扩散Transformer架构← 正确答案
  • C.循环神经网络框架
  • D.卷积自编码器模型

答案:B。Sora 的底座是扩散 Transformer(DiT),把视频切块当 token、以去噪方式生成。A 是文本模型思路,C 是旧式序列模型,D 偏向表示学习,均不是 Sora 的核心生成架构。类比导演的“画室班子”是 DiT,而不是剧本机器。

Q2. 视频生成中“物体持久性”指?

单选题 · easy

  • A.物体永远不能被删除
  • B.物体身份跨帧保持稳定← 正确答案
  • C.物体必须一直存在画中
  • D.物体外观逐渐发生漂移

答案:B。物体持久性强调“同一个物体的身份跨帧稳定”,包括外观、数量、位置。A、C 只是“不能消失”,D 描述的是失败现象而非定义。就像画师团队必须记住主角长相,帽子不能换成灰色。

Q3. 关于 Sora 与物理模拟的关系,正确的是?

单选题 · easy

  • A.它就是真实物理模拟器
  • B.数据近似但仍有差距← 正确答案
  • C.与真实物理规律完全无关
  • D.只能精确模拟重力作用

答案:B。Sora 是数据驱动的统计近似,物理规律能“自发涌现”一部分,但无法严格保证。A 夸大了能力,C 否定一切,D 只限重力。好比那位导演,画师们凭经验画准过一两次,却没真正学过物理。

Q4. 扩散模型训练阶段的目标是?

单选题 · mid

  • A.预测视频中的下一帧
  • B.预测添加噪声的分布← 正确答案
  • C.逐步对每个像素做分类
  • D.压缩视频文件的体积

答案:B。扩散模型的训练目标是预测加入的噪声,从而学会“去噪还原”。A 是自回归帧预测思路,C 是分割任务,D 是编码任务。类比:训练目标是“把弄脏的画还原成干净画”,而不是“画下一张画”。

Q5. Sora 在碰撞物理上的典型缺陷是?

单选题 · mid

  • A.所有物体都静止不动
  • B.物体碰撞时互相穿过← 正确答案
  • C.所有物体重力方向相反
  • D.物体碰撞后必然弹飞

答案:B。Sora 生成的碰撞常表现为互相穿过、无变形、无动量交换。A、C、D 是对生成能力的片面概括,模型至少能画出运动。物理顾问没到场时,碰撞场面的“砰”就画不出来。

Q6. 长视频出现因果断裂的根本原因是?

单选题 · mid

  • A.视频帧总数实在太多
  • B.模型缺乏因果世界模型← 正确答案
  • C.训练视频的时长太短
  • D.生成时用了随机种子

答案:B。因果断裂源于模型只有统计关联、没有因果世界模型,只会“共现-联想”而不会“因为-所以”。A 是现象而非根源,C 是外部条件,D 与因果无关。导演手里没有“剧情逻辑本”,只知道画面常一起出现。

Q7. 时序一致性通常包含哪些方面?

多选题 · mid

  • A.物体身份跨帧保持稳定← 正确答案
  • B.场景布局不发生漂移← 正确答案
  • C.物体外观颜色不突变← 正确答案
  • D.音画必须做到精确同步

答案:ABC。时序一致性涵盖物体身份、场景布局、外观颜色等视觉要素的跨帧稳定。D 音频同步超出视觉一致性的范畴,Sora 核心是视觉生成,不涉及音画约束。这四项对应画师团队“记住设定、记住布景、不擅自换色”的协作要求。

Q8. 关于视频时空块(patch)化的说法正确的是?

单选题 · hard

  • A.视频只在空间维度被切割
  • B.时空三维切块嵌入向量← 正确答案
  • C.整段视频被当作一帧处理
  • D.每帧独立生成完全不交互

答案:B。Sora 把视频在时间、宽、高三个维度切成小立方块(patch),再线性投影成 token。A 只切空间,C 整体当一帧,D 帧间不交互,都不符合。切块让画师们把“一秒画面”拆成小块分头协作,再由注意力统一协调。

Q9. 学界提出的长视频改进方向包括?

多选题 · hard

  • A.引入物理引擎做硬约束← 正确答案
  • B.构建视频生成世界模型← 正确答案
  • C.无限扩充训练数据集量
  • D.建立统一评测基准体系← 正确答案

答案:ABD。主流方向是物理引擎融合、世界模型、统一表征与评测基准。C“无限扩数据”成本高且不能根治原理性缺陷。光靠加数据,画师们还是不懂物理,必须换工具、换剧本、换考核制度。

Q10. 关于“空间一致性”的理解正确的有?

多选题 · extreme

  • A.相机运动决定像素投影位置← 正确答案
  • B.模型缺乏显式三维场景表示← 正确答案
  • C.单帧清晰即代表空间一致
  • D.长距离几何关系难以约束← 正确答案

答案:ABD。空间一致性源于三维投影几何:相机一动,像素位置必须按投影规律变化;而模型没有显式三维表示,长距离几何关系难以维持。C 是典型的“单帧思维”,单帧清晰不代表空间一致。布景图缺位,门就会悄悄挪位置。