Sora世界模拟能力

可视化演示

展示Sora世界模拟三大维度：涌现能力（物体持久/3D一致/物理交互/长程连贯四维+DiT模型）、时空patch架构（4x4 patch分解+Transformer自注意力+输出帧序列+注意力热力）、能力边界与失败（强弱光谱+穿透/轨迹/计数/流体四类失败案例），三模式递进呈现世界模拟原理。

原理机制

老周看球有个习惯：他不背比分，而是把比赛“切成”一个个有画面感的小片段——角球发出、禁区混战、门将扑出。这些片段就像他脑中的“故事卡片”，看到某张卡片，后面的剧情就自动浮现。Sora也一样，它把视频切成了许多“时空小方块”（时空Patch），也就是视觉Token。这些Token被送进一个巨大的Transformer里，模型的任务只有一个：看着已有的片段，预测下一个片段长什么样。

“预测下一个片段”听起来简单，却是世界模拟的起点。为了让预测更准，模型必须学会视频里的隐藏规律：球是被踢出去的、人是用脚走路的、光是按方向照过来的。Sora训练时没有老师告诉它这些，它只是吞下了数千万小时的高质量视频，在反复的“猜下一帧”中，把物理世界的视觉规律一点点揉进了参数里。这就像老周从未学过力学，却从几万场转播里“内化”了抛物线。

用一个公式来看这个预测过程：给定前 $t-1$ 个片段 $x_1, x_2, \dots, x_{t-1}$，Sora要最大化下一个真实片段出现的概率。

老周说不出“重力加速度是9.8”，但他知道球会落到哪；Sora的“知识”也这样模糊而有效——它不存公式，只存“看到这个画面，接下来该是这样”的统计直觉。这就是Sora世界模拟的第一块基石：数据驱动的自回归预测。

涌现能力

看球时偶尔信号中断，电视上只剩一片雪花，老周依然能告诉你球大概在哪里、场上球员该怎么跑位。这种“看不见也知道它在”的本事，就是物体持久性。Sora生成视频时也展现出同样的能力：一个球滚到箱子后面，几秒后从另一头滚出来，球还是那个球，位置、大小、颜色都延续上了。模型从没被标注过“遮挡后物体仍然存在”，却在海量视频中自己摸出了这条规律。

更让人惊讶的是3D一致性。当Sora生成的视频里，摄像机开始环绕拍摄一个人物时，人物身后的场景会随着视角平滑变化，远处的背景、近处的桌椅都保持相对位置关系，不会像幻灯片一样乱跳。这就像老周不用转头，也能凭经验说出“他现在应该站在球门右侧还是左侧”。镜头移动只是换了“看球角度”，而不是换了一个世界。

这些能力可以统称为“隐式物理直觉”。模型没有对场景建模，但它的表征里已经编码了“遮挡物后面的东西还在”、“三维空间绕一圈是同一场景”这类结构信息。我们用状态更新来描述这种隐式延续：

除了这两项，Sora还会在碰撞时让物体自然弹开、产生四溅的水花、让影子随光源移动，这些“物理因果反应”同样是在预测过程中涌现的。老球迷的脑内剧本之所以精彩，是因为他看过太多“接下来会发生什么”——Sora的剧本，也是这样写出来的。

能力局限

再厉害的老球迷也有看走神的时候：把红队球衣看成蓝队、明明记着2比1却说成3比1、一恍惚把场上的一只狗看成了三只。Sora的失误也惊人地相似：生成一群人走过街道时，走着走着人群可能挤成一只“多腿生物”；一个茶杯被放置多次，杯子的花纹、形状会悄悄变化；影子有时脱离物体，像晚到的跟班。官方放出的失败案例里，最经典的就是“一群人互相挤压变成一只狗”，以及摔碎的高脚杯碎成不合物理常识的碎片。

这些失败的根源在于：物体一致性是在生成过程中“凭感觉维持”的，模型没有全局的个人追踪器，也没有“桌面上只有三个杯子”这样的计数约束。每生成一段，模型只是在做局部合理的预测，误差会像滚雪球一样累积，最终让物体的数量、形态、位置全面漂移。我们用一个误差度量来描述这种漂移：

老周看走神是因为注意力有限，Sora“看走神”则是因为没有全局约束。它擅长短时间内的精彩预判，但时间一长、要素一多，脑内剧本就会开始漏字、改词。所以，Sora是世界模拟的“快手写手”，而不是一位严谨的物理书记员。

世界模型对比

老周和一位读过力学教材的工程师，都能预测球的落点。但工程师能写下拉格朗日方程，算清每一个力；老周只能摆摆手说“我凭感觉”。Sora属于前者还是后者？它显然是“感觉派”——一个通过生成视频而隐式学到世界规律的模型，学术界称之为生成式世界模拟器。它没有显式的状态变量，也没有“球的位置是(x,y)”这种可读取的数据结构。

与之相对，专门训练的世界模型走的是另一条路：模型显式地维护一个潜空间状态 $s_t$，输入动作 $a_t$，输出下一个状态 $s_{t+1}$，再把状态解码成画面。这种模型可以做规划：机器人先“想象”几步动作，再挑收益最高的执行。而Sora没法这样用，因为你问它“如果我把球往左推三厘米会怎样”，它无法从隐式参数里抽出一个状态来推演，只能重新生成一段视频。

两种路线的模型化差异可以这样对比：

老球迷能报出“球大概在禁区附近”，但说不清坐标；工程师能算到小数点后两位。Sora和专训世界模型的分野正在于此：一个用涌现换逼真，一个用显式换可控。两者不是替代关系，而是未来可以互补的两条腿。

评测方法

怎么判断老周是不是真的会看球？不能光听他自己吹，得让他看几段比赛录像，然后让资深教练给打分。OpenAI在评测Sora时也用了类似的思路：他们请GPT-4V当“资深教练”，看生成的视频，按几个维度打分——文字轨迹是否跟对、多视角镜头是否一致、物理常识是否成立（比如“球被撞后应该弹开”）。大模型裁判能把“看着舒服不舒服”变成可复用的分数。

研究者还会上“测量仪器”：用光流法检查相邻帧的运动是否连续合理，用目标跟踪算法统计某个物体被遮挡后是否还能被找回，用3D重建工具验证多视角生成是否落在同一个几何场景中。这些方法各有侧重，但思路都是把“世界模拟能力”拆成可量化的子问题。一个典型的评分公式长这样：

有了这些分数，“老球迷的预判能力”就不再是玄学。GPT-4V负责审美和常识，光流负责运动合理性，检测器负责物体持久性——三者合起来，才能比较完整地描绘Sora世界模拟能力的全景图。

发展前景

老周的球看得再准，也当不了教练——因为他不讲因果，只讲感觉。要让Sora更进一步，学术界正在探索两条路：一是给“老球迷”补物理课，把显式物理引擎或渲染约束嵌入生成过程，让重力、碰撞不再靠猜；二是给他看更多样、更高质量的比赛录像，让他经历过更多“陌生场面”（比如失重、流体、微小物体），从而减少分布外翻车。另一条火热的方向是实时交互：让Sora不是一次性生成整段视频，而是像游戏引擎一样，根据用户的每一步操作实时渲染下一帧，成为一个可对话、可编辑的“活世界”。

这些探索最终会汇向一个共同的远景——具身智能。如果Sora的世界模拟足够稳定，机器人就可以在“AI生成的物理世界”里预先练习抓取、行走、避障，把Sora当作一台虚拟训练场。那时，世界模拟就不再只是生成酷炫视频的魔法，而是智能体理解世界、与世界互动的底层能力。我们用一个混合目标函数概括这种融合方向：

从“看球”到“踢球”，从“预判”到“参与”，Sora的世界模拟能力正处在这样一个转折点：它已经证明了数据驱动能涌现出惊人的世界直觉，但要让这份直觉变成可靠的知识，还需要和显式建模、高质量数据、实时交互一起，走出属于下一代的融合之路。

AI 应用场景

Python 演示

import math  class BallTracker:    """用最近三次观测外推小球位置, 模拟遮挡期间的物体持久性"""     def __init__(self, window=5):        self.times = []        self.positions = []        self.window = window     def observe(self, t, x, y):        self.times.append(t)        self.positions.append((x, y))        if len(self.times) > self.window:            self.times.pop(0)            self.positions.pop(0)     def predict(self, t):        if len(self.times) < 3:            return None        ts = self.times[-3:]        xs = [p[0] for p in self.positions[-3:]]        ys = [p[1] for p in self.positions[-3:]]        return self._lagrange(ts, xs, t), self._lagrange(ts, ys, t)     @staticmethod    def _lagrange(ts, xs, t):        result = 0.0        for i in range(3):            term = xs[i]            for j in range(3):                if i != j:                    term *= (t - ts[j]) / (ts[i] - ts[j])            result += term        return result     def run_simulation(self):        g = 9.8        v0 = 10.0        angle = math.radians(55)        vx = v0 * math.cos(angle)        vy = v0 * math.sin(angle)        dt = 0.05        t = 0.0        print("t     real_x pred_x error")        while t <= 2.0:            x = vx * t            y = vy * t - 0.5 * g * t * t            occluded = 0.7 <= t <= 1.1            if not occluded:                self.observe(t, x, y)            pred = self.predict(t)            if pred is not None:                err = abs(pred[0] - x)                print("%.2f %.3f %.3f %.3f" % (t, x, pred[0], err))            elif occluded:                print("%.2f occluded, keep tracking..." % t)            t += dt  if __name__ == "__main__":    BallTracker().run_simulation()

1. self.times.append(t)记录观测时间，作为外推的时间基准。
2. if not occluded: self.observe(t, x, y)遮挡时停止喂数据，模拟“老球迷看不到球”。
3. pred = self.predict(t)用已知轨迹外推出被遮挡时的“脑内位置”。
4. self._lagrange(ts, xs, t)三点二次插值，用抛物线规律填补遮挡空洞。
5. occluded = 0.7 <= t <= 1.1划定遮挡区间，对应“电视信号中断的那一秒”。

常见误区

面试题