Sora视频生成中的世界模拟

可视化演示

展示Sora时空Token压缩与Transformer处理、运动动力光学三路物理模拟、AI生成与真实物理一致性对比及失败案例，步进切换探索世界模拟。

什么是世界模拟

老许开演前从不看剧本，他只问一句“什么场景”，然后往台上一站，整个世界就跟过来了。雨天的水洼、风里的伞、躲闪的行人——他身体的每个动作都在“重现”世界的规律。观众觉得他不是在演，而是在“模拟”一个小世界。Sora 做的事情本质类似：它不是按台词逐帧贴图，而是在生成的过程中，把“物体该往哪落、影子该往哪斜、谁挡在谁前面”这些规律一并演了出来。

技术上的说法是，Sora 在视频上展现出了一种“涌现能力”：当模型规模和数据规模足够大，它不再只是记住画面，而是在学习视频背后的规律。Sora 采用扩散 Transformer（DiT）架构，先把视频切成“时空补丁”（把视频当作一摞带时间坐标的小图块），再学习如何从噪声中还原出合理的画面。因为一次建模的是“整段视频”，而不是孤立的某一帧，模型被迫去推断场景如何随时间演化——这就是“生成即模拟”。

老许的“戏感”来自成千上万次街头观察，Sora 的“世界感”来自对海量视频分布的拟合。戏演得越顺，说明世界规律被内化得越深——但它究竟是真懂物理，还是只会“装”，还得看它露馅的时候。

物体持久性

老许有一手绝活：表演“穿屏风”。他走到屏风后面，观众明明什么都看不见，但当他从另一头走出来时，帽子、围巾、手里的拐杖和进去时一模一样。老观众都服他“道具不丢”。这就是默剧界的物体持久性——哪怕看不见，东西也还在脑子里。

AI 世界里的物体持久性（object persistence）说的是同样的事：当物体被遮挡、移出画面或暂时消失时，模型是否仍然“记得”它存在，并在它重新出现时保持外观、位置和数量的连贯。早期的视频生成模型常常“一转身就换了一张脸”，就是因为它们只顾当前几帧，没有把物体当作一个在时间中持续存在的“角色”。

Sora 之所以表现好，业内认为靠的是两个设计：一是把整段视频当作一个整体来建模（而不是逐帧拼接），二是时空补丁让不同帧之间的信息可以“远程关联”。于是物体被墙挡住时，模型可以靠上下文推断“它还在墙后继续移动”。无记忆模型的“印象”会随时间指数衰减，而 Sora 能把记忆强度基本稳住：

老许演屏风戏的秘诀是“闭上眼也在脑里走位”；Sora 的秘诀则是把整场戏缝成一个时空整体，而不是一帧一帧拼照片。道具不丢，观众才信这个“世界”是真的。

物理交互理解

老许表演“被篮球砸中”：先做投篮动作，球“飞”过来，他夸张地踉跄，球落地弹了三四下。观众笑得前仰后合，因为整个过程和真的一样——重力、碰撞、因果链条全在动作里。他不懂牛顿定律，但他被球砸过一百次。

Sora 同样能生成“有物理感”的画面：杯子从桌边滑落会加速下坠、碰到地面碎裂、碎片飞溅；足球踢到墙上会反弹；人推门时门会先晃一晃。这些表现相当自然，容易让人误以为它内置了一个物理引擎。实际上，它只是从成千上万小时视频里统计出了“什么画面看起来物理正确”。

这种“物理感”本质是对运动模式的分布学习。以自由落体为例，经典运动学告诉我们物体高度随时间的变化是抛物线：

老许不是物理学家，但他被砸过一百次之后，身体记住了篮球的落点；Sora 也不是物理引擎，它只是在数据里“被砸醒”了——惯用套路演得真，但真要它算受力，它答不上来。

场景几何空间

熟悉老许的观众都知道，他台上有一堵“看不见的墙”。他会绕着墙走、伸手敲墙、蹲下从墙角探出头——无论他怎么移动，那堵墙都稳稳地待在同一个位置。他心里装着一张三维地图，舞台怎么变，地图不乱。

Sora 对三维空间的处理也让人惊叹：当镜头平移、旋转或拉近拉远时，画面里的物体保持相对位置和透视关系不变。比如无人机环绕一栋楼拍摄，楼是楼、树是树，前后遮挡关系始终正确。这种“三维一致性”并非来自显式的三维建模，而是模型在训练中隐式学到的场景结构。

从几何上看，生成一帧画面相当于把三维场景“投影”到二维像平面上。针孔相机模型给出了这条最朴素的投影规则：

老许靠肌肉记忆稳住“空气墙”，Sora 靠隐式的分布学习稳住三维底图。只要镜头敢动，它就能把“空间不乱”演出来——但这份空间感能撑多久，得看它会不会在下一个镜头露馅。

真实模型差距

有一次导演在后台问老许：“刚才那杯酒为什么摔碎了？” 老许挠挠头：“不知道，我只会演。” 他能把碎的过程演得惟妙惟肖，却说不出“因为玻璃脆、桌面硬、重力拉了一把”。这就是演员与物理学家的差别，也是 Sora 与“真正的世界模型”之间的鸿沟。

严格的“世界模型”应当包含对物理机制的明确因果建模：知道“力如何改变运动”、“碰撞如何交换动量”，还能做反事实推断——比如“如果初速度翻倍，杯子会飞多远”。而 Sora 本质上是数据驱动的隐式分布模型：它知道“摔碎的画面长什么样”，却不知道“为什么摔碎”。

用概率模型的语言说，Sora 的学习目标是一个带潜在变量的生成模型：视频由某种潜在的场景状态 \(z\) 决定，模型只学“给定潜状态，画面如何生成”：

老许是演员，不是物理学家；Sora 是模仿者，还不是世界引擎。它缺少的是一个能推演因果的“内部剧本”，这正是它与真正世界模型最本质的距离。

能力边界失败

有一回，观众刁难老许，让他表演“同时喝六杯水”。他左手一杯右手一杯，杯子上都摆不下了，硬着头皮演，结果杯子一会儿多一会儿少，最后演成了杂技。观众笑成一片——大师也有破功的时候。Sora 的失败案例同样集中在“剧本没见过的角落”。

OpenAI 官方也承认，Sora 在物理模拟与因果性上存在明显短板。公开的失败案例大致能归成几类：一是因果不一致，比如酒杯里的液体没有随杯子一起倾斜流动，杯子和酒“各演各的”；二是物体穿模，两个物体相撞时直接互相穿透；三是数量错乱，人被遮挡后再出现时人数不对；四是变形失控，奔跑中人的腿数、手指数量突然变化。

这些失败背后有一个共同原因：生成误差会随时间累积。把误差写成：

老许在短桥段里是大师，长剧情即兴就容易穿帮；Sora 也一样——时间一拉长，误差累积到临界点，“杯子里的酒”和“杯子”就各奔东西了。

AGI与视频生成

老许年近五十，突然开始较真：“我演了一辈子，现在想弄明白：为什么球会落地？为什么杯子会碎？” 徒弟们说，师父你这是要从演员改行当物理学家。Sora 的意义，恰恰在于它在“演”的路上走得太远，逼着整个行业思考“演”与“懂”之间的桥梁。

在深度学习视角下，视频生成可以视为对世界状态的预测：如果能可靠预测下一秒画面，模型就一定捕获了大量世界规律——重力、惯性、遮挡、光照。Sora 把“以生成促理解”这条路线拉到了新高度，也让“世界模拟器”正式成为视频生成模型的称号。学界开始认真讨论：视频生成模型能不能成为通往世界模型的一条现实路径？

这条路径的目标函数，是把“预测下一时刻观感”做到极致的似然最大化：

这条路还通向具身智能：机器人若能预测“推一下杯子它会滑多远”，就能在行动前做规划。老许一旦开始琢磨因果，就不再是街头艺人，而是“导演兼物理学家”的雏形——这正是 AGI 研究最期待的方向。

AI 应用场景

Python 演示

import math G = 9.8          # gravity accelerationH0 = 100.0       # initial heightV0 = 8.0         # initial upward velocityOC_START = 2.5   # occlusion start timeOC_END = 4.5     # occlusion end timeDT = 0.05        # time step  def physics_height(t):    # true world: free fall kinematics    return H0 + V0 * t - 0.5 * G * t * t  def is_occluded(t):    # simulate the time period when the object is hidden    return OC_START <= t <= OC_END  class FrameModel:    # frame-level model: no world knowledge, only remembers last visible height    def __init__(self):        self.last_visible = H0     def predict(self, t, visible):        if visible:            self.last_visible = physics_height(t)        return self.last_visible  class PhysicsModel:    # world model: extrapolate with kinematics formula    def predict(self, t, visible):        return physics_height(t)  def run():    naive = FrameModel()    physics = PhysicsModel()    print('t    true  frame  world  hidden')    t = 0.0    max_naive = 0.0    max_physics = 0.0    while physics_height(t) > 0:        hidden = is_occluded(t)        h = physics_height(t)        pn = naive.predict(t, not hidden)        pp = physics.predict(t, not hidden)        max_naive = max(max_naive, abs(pn - h))        max_physics = max(max_physics, abs(pp - h))        if abs(t - round(t, 1)) < 1e-9 or hidden:            mark = 'x' if hidden else ' '            print('%4.2f  %5.1f  %5.1f  %5.1f  %s' % (t, h, pn, pp, mark))        t += DT    print('max error: frame=%.1f, world=%.1f' % (max_naive, max_physics))  if __name__ == '__main__':    run()

1. class FrameModel定义一个只会“记住遮挡前最后一帧高度”的朴素模型，对应没有世界知识的逐帧生成器。
2. class PhysicsModel用自由落体公式直接外推的“世界模型”，对应真正理解物理规律的理想模拟器。
3. is_occluded(t)模拟物体被墙挡住的 2.5 到 4.5 秒，遮挡期间两种模型的预测开始分化。
4. naive.predict(t, visible)可见时刷新记忆，不可见时只能傻傻报出旧值，误差随着真实物体继续下落而增大。
5. max error: frame=..., world=...打印两类模型的最大预测误差，直观呈现“统计记忆”与“物理理解”的差距。

常见误区

面试题