老船长周伯在渔村海边生活了六十年，从没念过气象书，却总能在别人犹豫时一锤定音：“明儿有风，不出海。”他不看卫星云图，靠的是几十年看云、看浪、看海鸟攒下的眼力——成千上万次出海，把天气规律刻进了他的直觉。如今，有人想把这种“眼力”装进 AI：给它海量视频当“出海经历”，让它自己看出世界运行的规矩，再让它脑补“接下来会发生什么”。这就是视频世界模型模拟器。它不背物理公式，却能从画面里学出重力、碰撞、遮挡这些看不见的规矩；它能续写视频，也能替机器人“先想一步”。不过，就像周伯预判三天后的天气会模棱两可，模型生成越长越容易“跑偏”；练成这双眼力也要烧掉惊人的算力。这篇内容，我们就跟着周伯出海，把世界模型的来龙去脉一次看透。

岗位关联

理解世界模型是通往 AGI 的关键窗口。无论做视频生成还是具身智能，掌握 GAIA、Sora 的机理，都能让你在面试与技术规划中明显占优。

目录
  1. 可视化演示
  2. 世界模型概念
  3. 学习运行规律
  4. 视频帧序列生成
  5. GAIA架构
  6. Sora原理
  7. 长程一致性
  8. 挑战与展望
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示世界模型从输入帧编码到潜在空间动态预测的完整架构、三种训练范式对比，以及长期预测的误差累积曲线。

本节配有交互动效（进入视口后自动加载，约 3KB）。

'+_captions.arch+'

世界模型概念

渔船上的周伯有个奇怪的习惯：风平浪静的清晨，他会闭眼站上船头，嘴里念叨“浪要先涌半尺，船再摆三下，海鸟最后才散开”。旁人笑他神神叨叨，可浪真涌起来时，船已经按他念叨的顺序摆好了。他头脑里装着一台“小放映机”——总在实时脑补接下来几分钟的海。这种“闭眼也能预演世界下一步”的本事，正是世界模型的雏形。

把周伯的“放映机”装进 AI，就是视频世界模型的任务：机器看完一段画面后，能预测并生成“接下来会发生什么”的视频帧。它不像传统程序那样背规则，而是从数据里长出自己的直觉。也正因这种“面向未来的理解力”，学界普遍把它视为通向 AGI 的关键路径——能预判世界，才能规划行动。

视频的本质是“空间加时间”：每一帧是 H×W 的像素画面，T 是时间轴。世界模型要捕捉的不是像素的颜色装饰，而是颜色背后“东西怎么动”的规律：苹果落下、皮球反弹、人转身时衣服的褶皱。它输入已观测帧，输出未来帧的条件概率——这就是它区别于普通滤镜视频或单图生成的分水岭。

周伯脑内的放映机从不会播“不可能的海”：他不会梦见水往山上流，因为六十年的观察早已把“可能”与“不可能”区分开来。世界模型同理——用条件概率把“看过的海”与“没发生的浪”连起来。至于这双眼力如何练成，我们下一节跟周伯出海看个明白。

pθ(vt+1:T∣v1:t)=∏k=1T−tpθ(vt+k∣v1:t+k−1)\displaystyle p_\theta(\mathbf v_{t+1:T} \mid \mathbf v_{1:t}) = \prod_{k=1}^{T-t} p_\theta(\mathbf v_{t+k} \mid \mathbf v_{1:t+k-1})
这个公式的意思是：给定“已经看到的画面”，模型把“接下来的整段未来”拆成一连串“逐帧续写”。
  1. 历史片段 \(\mathbf v_{1t}\)：模型“已经看到”的前 t 帧画面，相当于周伯此刻眼前的这片海。
    v1:t={v1,v2,…,vt}\mathbf v_{1:t} = \{\mathbf v_1, \mathbf v_2, \ldots, \mathbf v_t\}
  2. 未来片段 \(\mathbf v_{t+1T}\)：模型要“脑补”出来的后续帧，从第 t+1 帧一直到第 T 帧。
    vt+1:T={vt+1,…,vT}\mathbf v_{t+1:T} = \{\mathbf v_{t+1}, \ldots, \mathbf v_T\}
  3. 条件概率 \(p_\theta(\cdot \mid \cdot)\)在已知历史的前提下，未来画面各种可能性的分布；下标 \(\theta\) 表示这套分布由神经网络的参数决定。
    pθ(vt+1:T∣v1:t)p_\theta(\mathbf v_{t+1:T} \mid \mathbf v_{1:t})
  4. 连乘展开把“整段未来”拆成一步步“逐帧续写”——每预测一帧，就把它加进历史，再预测下一帧。
    ∏k=1T−tpθ(vt+k∣v1:t+k−1)\prod_{k=1}^{T-t} p_\theta(\mathbf v_{t+k} \mid \mathbf v_{1:t+k-1})

学习运行规律

周伯年轻时看走过眼。有一回他赌“南风不会变向”，结果风暴掀翻了半船鱼。那之后每到南风天，他都会多看三眼云。失败的观察成为修正的燃料，几十年下来，“预测—出错—修正”的循环把规律腌进了他的直觉。

世界模型用同样的循环训练：喂进海量视频，让它预测下一帧，预测错了就调整网络参数。每看一次、错一次、改一次，模型就把“画面如何演化”的规律往参数里写一分。整个过程中没有人类标注“这里是重力”，全靠“预测未来”当老师，所以叫自监督学习。

视频里的规律有层次：短程是瞬时运动，比如球沿抛物线飞；中程是物体互动，比如碰撞后弹开；长程是场景语义，比如太阳西沉、门窗光影移动。模型没有向导，只从像素误差中反向传播，最终在隐藏层里隐式编码出这些规则。

周伯说不出牛顿第二定律，但他在风浪里压舱比谁都稳——知识不必说出来才算学会。世界模型的“物理感”同样藏在参数的褶皱里：看不见，却真真切切地指挥着每一帧的走向。

L(θ)=−1N∑i=1Nlog⁡pθ ⁣(vt+1(i)∣v1:t(i))\displaystyle \mathcal{L}(\theta) = -\frac{1}{N}\sum_{i=1}^{N}\log p_\theta\!\left(\mathbf v^{(i)}_{t+1} \mid \mathbf v^{(i)}_{1:t}\right)
这就是世界模型的“训练目标”：让模型给真实下一帧打出的概率尽可能高。做不到就调整参数，直到“眼睛”越来越毒。
  1. 样本编号 \(i\) 与总数 \(N\)训练时取一批（batch）共 N 段视频片段，逐个计算预测表现。
    ∑i=1N\sum_{i=1}^{N}
  2. 对数似然 \(\log p_\theta\)模型对“正确下一帧”给出的概率，取对数便于计算与求导。
    log⁡pθ ⁣(vt+1(i)∣v1:t(i))\log p_\theta\!\left(\mathbf v^{(i)}_{t+1} \mid \mathbf v^{(i)}_{1:t}\right)
  3. 取负平均成损失 \(\mathcal{L}\)概率越大损失越小，加负号后变成“越小越好”的优化目标。
    −1N∑i=1N(⋯ )-\frac{1}{N}\sum_{i=1}^{N}(\cdots)
  4. 参数 \(\theta\)用梯度下降不断调整 \(\theta\)，让模型对真实下一帧越来越有把握。
    θ←θ−η ∇θL(θ)\theta \leftarrow \theta - \eta\,\nabla_\theta \mathcal{L}(\theta)

视频帧序列生成

周伯描述明天的海，从来不是一句话，而是一连串画面：浪先涌、云后聚、鸥鸟绕桅三圈。世界模型也按同样的方式输出——一段连续的帧序列，而不是一张静止图。这正是“视频”世界模型与图像生成的分界。

生成未来帧的主流引擎是扩散模型。它把生成看作“显影”：从一锅纯噪声开始，每步去掉一点点噪声，逐步“洗”出清晰画面；同时用历史帧、文本或动作做条件，引导显影方向。相比一步到位地预测像素，这种渐进式生成让画面更细腻，也让多个帧之间更容易保持连贯。

具体生成时通常采用滚动式：模型把“已经生成完的帧”当作新历史，接着预测下一帧；新帧又加入历史，如此循环，就像一节节铺铁轨。为了不跑偏，训练时还会加入约束：保持物体轮廓一致、让运动符合常见物理直觉——这些约束就写在损失函数里。

逐帧“显影”就像周伯把明天的海一张张陈列在眼前——第一张、第二张都清楚，可越往后越像隔着雾。为什么？因为每一帧的误差都会被带进下一帧，这正是长程难题的伏笔。

Lsimple=Et,ϵ[∥ϵ−ϵθ ⁣(v~t,t)∥2]\displaystyle \mathcal{L}_{\text{simple}} = \mathbb{E}_{t, \boldsymbol{\epsilon}}\left[\left\| \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta\!\left(\widetilde{\mathbf v}_t, t\right)\right\|^2\right]
这是扩散模型的训练损失：让网络学会“猜出画面里混入的噪声”，猜得越准，显影出来的视频就越干净。
  1. 扩散时间步 \(t\) 与高斯噪声 \(\boldsymbol{\epsilon}\)扩散过程给画面逐步加噪，模型要学“怎么把噪声抽走”，\(t\) 表示噪声程度。
    ϵ∼N(0,I)\boldsymbol{\epsilon} \sim \mathcal{N}(0, \mathbf I)
  2. 带噪画面 \(\widetilde{\mathbf v}_t\)真实画面按强度 \(t\) 混合噪声后的“半成品”。
    v~t=αt v+1−αt ϵ\widetilde{\mathbf v}_t = \sqrt{\alpha_t}\,\mathbf v + \sqrt{1-\alpha_t}\,\boldsymbol{\epsilon}
  3. 噪声预测网络 \(\boldsymbol{\epsilon}_\theta\)模型输入带噪画面与时间步，输出它对噪声的估计。
    ϵθ(v~t,t)\boldsymbol{\epsilon}_\theta(\widetilde{\mathbf v}_t, t)
  4. 均方误差与期望让“预测的噪声”逼近“真实的噪声”，并对 \(t\) 和 \(\boldsymbol{\epsilon}\) 求平均，形成最终损失。
    Et,ϵ[∥ϵ−ϵθ(v~t,t)∥2]\mathbb{E}_{t,\boldsymbol{\epsilon}}\left[\left\| \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\widetilde{\mathbf v}_t, t) \right\|^2\right]

GAIA架构

老船长周伯的兜里还揣着祖传的潮汐表。风浪再诡谲，潮汐表给出的底数不会错；眼力给趋势，表格给基准，两下合璧，他比只靠天赋的年轻水手稳得多。GAIA-1 就是这个“带表出海”的模型。

GAIA-1 是 Wayve 发布的自动驾驶世界模型。它不只盯着像素，还在内部维护一个“世界潜变量”\(\mathbf z\)——相当于对当前路况的抽象理解；再输入驾驶动作 \(\mathbf a\)（油门、刹车、转向），预测下一时刻的世界状态，最后把状态解码成可见的视频帧。也就是说，它能回答“如果我这样开，前面的路会怎样”。

这种“动作进、状态变、画面出”的结构，和强化学习里的环境模型一脉相承。GAIA 把物理先验——运动的连续性、路面的几何约束——织进生成过程，因此画面在急转弯、踩油门时依然稳定。技术上的关键是状态转移函数 \(f\) 与解码函数 \(g\) 的分工：\(f\) 负责推演，\(g\) 负责“画出来”。

潮汐表没有取代眼力，而是托住了眼力。GAIA 告诉我们：世界模型不必是纯直觉选手，把“学到的”与“已知的”合流，预判会更稳——这也是它成为代表工作的原因。

zt+1=fθ(zt,at),v^t+1=gϕ(zt+1)\displaystyle \mathbf z_{t+1} = f_\theta(\mathbf z_t, \mathbf a_t), \qquad \widehat{\mathbf v}_{t+1} = g_\phi(\mathbf z_{t+1})
一句话：先在世界潜变量里推演“动作带来的变化”，再把变化渲染成肉眼可见的画面。
  1. 世界潜变量 \(\mathbf z_t\)模型对“当前世界状态”的压缩理解，好比周伯脑内那张“此刻海况图”。
    zt∈Rd\mathbf z_t \in \mathbb{R}^{d}
  2. 动作 \(\mathbf a_t\)驾驶员此刻的操作（转向、加减速），是改变世界的原因输入。
    at∈Rm\mathbf a_t \in \mathbb{R}^{m}
  3. 转移函数 \(f_\theta\)根据当前状态与动作推演“世界下一步变成什么样”。
    zt+1=fθ(zt,at)\mathbf z_{t+1} = f_\theta(\mathbf z_t, \mathbf a_t)
  4. 解码函数 \(g_\phi\)把推演出的状态还原成可见的视频帧。
    v^t+1=gϕ(zt+1)\widehat{\mathbf v}_{t+1} = g_\phi(\mathbf z_{t+1})

Sora原理

如果说 GAIA 是带潮汐表的老船长，Sora 就是只看过海量影像的年轻副手——从不查表，但读过的航海日志多到能装满一船。OpenAI 给 Sora 一句话、一张图，它就能生成最长一分钟、场景连贯的“像真实拍摄”的视频。

Sora 的秘密武器是把视频切成“时空补丁”。视频是四维数据（时间×高×宽×通道），像切豆腐一样在三个方向同时切块，得到一串补丁序列——这和 GPT 把文章切成 token 是一个思路。补丁化之后，模型不再受“固定分辨率、固定时长”的限制，任意尺寸的视频都能被统一处理。

研究者进一步发现，当数据和模型规模一起变大，Sora 出现了令人在意的能力：遮挡关系能持续保持、镜头移动符合直觉、物体在离开画面后“记得”再出现——这些被 OpenAI 统称为“世界模拟”能力的涌现。但必须冷静看待：Sora 是统计拟合，不是物理引擎，它“像”懂物理，却不保证动量守恒。

副手天赋惊人，却偶尔“想当然”——他会把“看起来该这样”当成“实际就是这样”。Sora 之后，全行业的镜头都对准了那道伤疤：长程物理一致性。

v∈RT×H×W×C  ⟶  {pk}k=1N,N=Tτ⋅Hh⋅Ww\displaystyle \mathbf v \in \mathbb{R}^{T \times H \times W \times C} \;\longrightarrow\; \{\mathbf p_k\}_{k=1}^{N}, \quad N=\frac{T}{\tau}\cdot\frac{H}{h}\cdot\frac{W}{w}
这个公式描述“视频切豆腐”：把时间、高、宽三个方向分别按块切分，得到一串可被 Transformer 处理的补丁序列。
  1. 四维视频张量视频是一个四维数组：时间轴 \(T\)、高 \(H\)、宽 \(W\)、颜色通道 \(C\)。
    v∈RT×H×W×C\mathbf v \in \mathbb{R}^{T \times H \times W \times C}
  2. 三向切块分别在时间、高、宽方向以 \(\tau, h, w\) 为步长切开，得到 N 个时空补丁。
    N=Tτ⋅Hh⋅WwN=\frac{T}{\tau}\cdot\frac{H}{h}\cdot\frac{W}{w}
  3. 补丁序列化把 N 个补丁铺成一维序列，类似 GPT 的 token 串。
    p1,p2,…,pN\mathbf p_1, \mathbf p_2, \ldots, \mathbf p_N
  4. 条件生成以文本或图像为条件，用扩散模型逐步还原出整段视频。
    v∼pθ(v∣c)\mathbf v \sim p_\theta(\mathbf v \mid \mathbf c)

长程一致性

周伯常说一句话：“明天的海我能看个八九分，三天后的海，神仙来了也只说声'再看吧'。”世界模型如出一辙：预测三五帧像模像样，滚动到几十帧，画面就开始“上头”。

病根在自回归的滚动误差。每一步的预测都会带一点小偏差，而这个偏差又被当作“真实历史”喂回模型，于是错误像传话游戏一样被逐级放大：物体慢慢变形、人影飘移、光影失去逻辑——这就是“场景漂移”。

应对方案正在多条战线展开：循环一致性约束让模型“绕一圈回到原点”来抵抗累积；记忆模块帮助维持物体恒存，比如杯子离开画面后依然存在；3D 结构或物理引擎则直接从根源上约束“什么不可能发生”。长程一致，被公认为世界模型走向实用的头号关卡。

传话游戏的终点是离谱，但每一次“离谱”也在告诉研究人员误差从哪一步开始失控。老船长承认“三天后看不清”，并不是放弃，而是知道该把宝押在前两天的判断上——模型设计也一样，要学会在可信窗口内滚动。

Drift(L)=E[∥v^t+L−vt+L∥2]  ≈  C⋅L⋅σ2\displaystyle \mathrm{Drift}(L) = \mathbb{E}\left[\left\| \widehat{\mathbf v}_{t+L} - \mathbf v_{t+L}\right\|^2\right] \;\approx\; C \cdot L \cdot \sigma^2
这个公式揭示了“传话游戏”的数学面孔：预测距离 L 越远，平均漂移量近似随 L 线性放大。
  1. 真实未来帧 \(\mathbf v_{t+L}\)L 步之后世界的真实画面，是“标准答案”。
    vt+L\mathbf v_{t+L}
  2. 滚动预测 \(\widehat{\mathbf v}_{t+L}\)把预测值不断喂回模型、连滚 L 次得到的估计。
    v^t+L=fθ∘L(v1:t)\widehat{\mathbf v}_{t+L} = f_\theta^{\circ L}(\mathbf v_{1:t})
  3. 均方误差期望 \(\mathrm{Drift}(L)\)预测与真值偏差平方的期望，刻画“漂移了多少”。
    E[∥v^t+L−vt+L∥2]\mathbb{E}\left[\left\| \widehat{\mathbf v}_{t+L} - \mathbf v_{t+L}\right\|^2\right]
  4. 线性上界在误差各向同性的近似下，漂移随步数 L 近似线性放大。
    Drift(L)≈C⋅L⋅σ2\mathrm{Drift}(L) \approx C \cdot L \cdot \sigma^2

挑战与展望

把周伯练成“海上活气象站”，代价是六十年风浪；把 AI 练成世界模型，代价是骇人的算力与数据。训练 Sora 级别的模型，需要上万块高端 GPU 连续运转数周，电费账单足以让大多数团队望而却步。这是眼下最现实的一道坎。

第二道坎是物理准确性。纯数据模型学到的是“表象统计学”：常见场景很美，一旦碰到玻璃碎裂、水花飞溅这类长尾物理，就容易闹笑话。未来趋势大概率是“学习为主、物理为辅”的混合路线，同时用更高效的架构把算力成本压下来。

展望再远一些：世界模型成熟后，机器人可以先在脑内模拟一万种动作再动手，自动驾驶能在虚拟世界演练一万种“假如”，影视、游戏、工业仿真都会被重写。它离 AGI 所需的“常识”越来越近，但抵达灯塔之前，仍要穿过三道浪。

周伯收好望远镜，拍了拍船帮：“看海是一辈子的事，急不得。”世界模型的航程刚刚离开港湾：算力、准确、一致——每道浪都在教人谦卑，也都在标出通往 AGI 的航道。

FLOPs∝Nlayers×T×H×W×C×B\displaystyle \mathrm{FLOPs} \propto N_{\text{layers}} \times T \times H \times W \times C \times B
算力账单的大致来源：视频越长、画幅越大、模型越深、批量越大，浮点运算量就越大。
  1. 层数与视频体量模型层数 \(N_{\text{layers}}\) 越深、视频时间 \(T\) 与空间 \(H \times W \times C\) 越大，运算量越大。
    Nlayers×T×H×W×CN_{\text{layers}} \times T \times H \times W \times C
  2. 批量大小 \(B\)一次训练同时处理的视频样本数，乘上去代表“每一口气吃多少数据”。
    ×B\times B
  3. 正比关系 \(\propto\)FLOPs（浮点运算次数）通常近似随这些量线性增长。
    FLOPs∝(⋯ )\mathrm{FLOPs} \propto (\cdots)
  4. 实际含义视频分辨率翻倍或时长翻倍，烧钱速度几乎跟着翻倍——这就是“算力墙”的来源。
    FLOPs=Θ ⁣(Nlayers⋅T⋅H⋅W⋅C⋅B)\mathrm{FLOPs} = \Theta\!\left(N_{\text{layers}} \cdot T \cdot H \cdot W \cdot C \cdot B\right)

AI 应用场景

自动驾驶仿真训练

阶段：数据生成与仿真验证

解决的问题：真实路测成本高、危险场景难以复现。传统方案只能靠人工剪辑拼接事故录像，既稀少又昂贵；世界模型可以生成“边缘 case”连续视频，例如暴雨夜行人突然窜出，让决策模型在虚拟世界里反复演练。

具体案例：某自动驾驶公司用 GAIA 类世界模型生成“前车急刹+后方摩托逼近”的连环场景视频，把这种一年难得一遇的路况在虚拟世界演练了上万遍，再回到真实路测时，系统的接管率显著下降。老船长的潮汐表，在这里变成了安全兜底的“虚拟风浪”。

影视与广告预演

阶段：AIGC 内容生产

解决的问题：导演想看的运镜、特效镜头，实拍成本极高，改一版就要重拍一天。世界模型能按分镜脚本先“演”一遍，把漫长的实拍提案变成分钟级的脑内预演。

具体案例：广告团队给 Sora 类工具输入“清晨海边，老船长收网，镜头缓缓推近”，几分钟就获得一条预览视频；看完不满意，改一句提示词重新生成，提案效率提升了近十倍。

机器人“先想后动”的具身智能

阶段：规划与决策前置模拟

解决的问题：机器人在真实环境试错成本高，抓碎一个玻璃杯就是一次事故。世界模型让机械臂先在“脑内”预演动作后果，再决定要不要动手。

具体案例：机械臂用世界模型预先模拟“抓取玻璃杯再移动”的完整帧序列，发现杯身倾角过大会导致滑落，于是自动调整抓取姿态再执行，成功率大幅提升。这就像周伯出海前先在脑内把风浪“演”一遍。

Python 演示

python38 行
import numpy as np def simulate_world(T=300, freq=0.35, damp=0.004, noise=0.05, seed=42):    """生成真实世界: 带阻尼的摆动序列, 模拟弹跳高度."""    rng = np.random.default_rng(seed)    t = np.arange(T)    clean = np.sin(freq * t) * np.exp(-damp * t)    return clean + rng.normal(0, noise, T) def build_features(series, order=4):    """把时间序列切成 (过去窗口, 下一帧) 的训练对."""    X, y = [], []    for i in range(order, len(series)):        X.append(series[i - order:i])        y.append(series[i])    return np.array(X), np.array(y) def autoregressive_world_model(observed, horizon=240, order=4):    """最小二乘拟合 AR(order) 世界模型, 再滚动预测未来帧."""    X, y = build_features(observed, order)    theta, *_ = np.linalg.lstsq(X, y, rcond=None)    window = list(observed[-order:])    forecast = []    for _ in range(horizon):        pred = float(theta @ np.array(window[-order:]))        forecast.append(pred)        window.append(pred)    return np.array(forecast) if __name__ == "__main__":    truth = simulate_world()    observed = truth[:60]    forecast = autoregressive_world_model(observed)    mse50 = float(np.mean((forecast[:50] - truth[60:110]) ** 2))    mse200 = float(np.mean((forecast[:200] - truth[60:260]) ** 2))    print(f"预测 50 帧均方误差: {mse50:.4f}")    print(f"预测 200 帧均方误差: {mse200:.4f}")    print("结论: 滚动越远误差越大, 这就是长程失真/场景漂移的根源.")
目的：用自回归模型模拟“从观察中学习世界规律→预测未来帧→误差随距离累积”的全过程，复现长程一致性挑战。
  1. clean = np.sin(freq * t) * np.exp(-damp * t)生成理想“物理世界”：正弦摆动乘衰减系数，代表现实中的能量损耗。
  2. X.append(series[i - order:i]); y.append(series[i])把历史窗口作为特征、下一帧作为标签，这是自监督预测任务的骨架。
  3. theta, *_ = np.linalg.lstsq(X, y, rcond=None)最小二乘从观测数据里“悟”出线性规律，等价于最简版的世界模型学习。
  4. pred = float(theta @ np.array(window[-order:]))用学到的规律预测下一帧。
  5. window.append(pred)把预测结果喂回输入，正是自回归滚动预测。

常见误区

误区我以为世界模型就是把视频画得更好看、更清晰的生成模型，跟抖音特效差不多，无非是像素画得更精细。

正解生成视频只是世界模型的“外表”。它的内核是学动态规律：给定状态与动作，预测下一步世界变成什么样。换句话说，视频是它说话的嘴，规律才是它的大脑。老船长会画海浪预报图，但他真正的本事是判断“船能不能安全出港”。

为何常见：因为世界模型最容易看到的产出就是“能生成视频”，而内部隐藏的规律不直观，初学者容易把表象当本质。

误区既然数据够多，模型就能学会所有物理规律，完全不需要人工知识，像老船长那样纯凭经验就行。

正解纯数据驱动会遇到样本效率与长尾问题：玻璃碎裂这类罕见物理现象出现在视频里的次数太少，模型学不牢。GAIA 等代表工作恰恰证明：注入物理先验（车辆连续性、几何约束）能让预测更稳。别忘了，老船长兜里也揣着潮汐表。

为何常见：媒体对 Sora“涌现”能力的渲染，让人误以为它已经内化了所有物理法则。

误区把世界模型简化为“单步预测器”，觉得每一帧都预测准了，长视频自然没问题。

正解单步准不等于长程对。自回归滚动中误差会累积，如同传话游戏，越传越离谱。真正的世界模型必须解决长程一致性：物体恒存、场景不漂移，这比单帧精度难得多，也是从“会续写”到“懂世界”的分水岭。

为何常见：单帧预测的损失函数容易优化、容易展示，人们就误把“短期表现”当成了“长期能力”。

误区Sora 生成的视频这么合理，说明它内部已经掌握了物理引擎，只是没有显式说出来。

正解Sora 本质仍是统计拟合——把“像物理”的画面分布学得很好，却可能在罕见场景中违反质量守恒、光影因果。周伯的副手天赋再高，没经历过风浪也会“想当然”。它离“真懂物理”还差着显式推理与验证这一步。

为何常见：生成结果过于逼真，人的直觉很容易把“表象合理”等同于“机理理解”。

面试题

Q1. 世界模拟器最核心的能力是什么？

单选题 · easy

  • A.生成精美绝伦的单张图片
  • B.根据历史预测未来动态变化← 正确答案
  • C.压缩视频以节省存储空间
  • D.为视频自动添加滤镜特效

答案：B。世界模拟器的本质是“预判世界下一步怎么变”，视频生成只是它表达理解的方式。压缩存储、加滤镜都只是图像处理，不涉及动态规律，故选 B。

Q2. 老船长靠几十年观海预判风浪，对应世界模型哪个环节？

单选题 · easy

  • A.从海量视频观察中学习规律← 正确答案
  • B.编程显式写出牛顿运动定律
  • C.人工标注每帧物体的坐标
  • D.调用游戏引擎实时渲染画面

答案：A。老船长的“眼力”来自大量观察而非物理课本，对应世界模型从海量视频中隐式学习规律。显式写方程、人工标注、游戏引擎都属于“先用已知规则建模”，与数据驱动的世界模型思路不同。

Q3. 视频世界模型最主要的训练数据来源是？

单选题 · easy

  • A.人工整理的物理公式库
  • B.专家编写的动作脚本
  • C.大规模无标注的视频← 正确答案
  • D.手工建模的三维资产

答案：C。世界模型采用自监督范式，直接在海量无标注视频上预测下一帧即可训练，不需要公式、脚本或人工标注，这正是它可以规模化的重要原因。

Q4. GAIA-1 与纯视觉生成模型最大的不同是？

单选题 · mid

  • A.融合物理先验并支持动作条件← 正确答案
  • B.只能生成静态的高清图片
  • C.不需要任何数据即可预测
  • D.只能在图像上叠加文字

答案：A。GAIA-1 是世界模型：维护潜变量、接收驾驶动作、融入物理先验，再生成路况视频。纯视觉生成模型通常只能做图像或无条件视频，不理解“动作如何改变世界”，故选 A。

Q5. Sora 把视频切分成什么基本处理单位？

单选题 · mid

  • A.单帧像素点的集合
  • B.三维时空补丁的序列← 正确答案
  • C.语义物体的包围盒
  • D.运动矢量光流场

答案：B。Sora 在时间、高、宽三个方向同时切块，得到“时空补丁”，再序列化喂给扩散 Transformer，类似 GPT 的 token。像素集合、包围盒、光流都不是它的基本单位。

Q6. 自回归滚动预测中，误差随预测步数大致如何变化？

单选题 · mid

  • A.线性递减直至完全消失
  • B.先增长然后一直保持为零
  • C.随步数增加而累积放大← 正确答案
  • D.与步数完全没有关联

答案：C。每一步的小偏差都会作为“假历史”喂回模型，误差像传话游戏一样累积放大，近似随步数线性增长。误差不可能自动消失，更不可能与步数无关。

Q7. 关于长程视频生成，下列表述正确的有？

多选题 · mid

  • A.误差累积导致场景逐渐漂移← 正确答案
  • B.物体可能会凭空消失或变形← 正确答案
  • C.画面清晰度随生成自动提升
  • D.物理规律永远都能稳定保持

答案：AB。误差累积会让场景漂移，物体恒存也难以保证，可能消失或变形，A、B 正确。清晰度不会自动提升，物理规律也经常在长程生成中被违反，C、D 错误。

Q8. 缓解世界模型长程失真的可行思路有哪些？

多选题 · hard

  • A.设计循环一致性约束网络← 正确答案
  • B.引入记忆模块维持物体恒存← 正确答案
  • C.没有任何约束地堆参数
  • D.结合三维结构与物理模拟器← 正确答案

答案：ABD。循环一致性约束能抑制误差累积，记忆模块维持物体恒存，三维结构与物理模拟器从因果层面阻止“不可能”的画面，都是合理思路。盲目堆参数只会扩大不确定性，不能缓解失真。

Q9. 关于 Sora 这类生成式世界模型的局限，哪些说法合理？

多选题 · hard

  • A.画面可能出现违反物理的现象← 正确答案
  • B.属于统计拟合而非物理引擎← 正确答案
  • C.对长程时空一致性处理完美
  • D.结合外部物理先验可缓解← 正确答案

答案：ABD。Sora 学到的是“像物理”的统计分布，罕见场景会违反物理，本质是统计拟合而非守恒约束的物理引擎，A、B 正确。它远未做到长程完美，C 错误；引入物理先验是公认的缓解方向，D 正确。

Q10. 以下哪项最能概括世界模型与视频生成的关系？

单选题 · extreme

  • A.两者目标完全相同没有任何区别
  • B.视频生成能力只是模型的冰山一角← 正确答案
  • C.世界模型完全无法输出任何视频
  • D.视频生成完全不需要学习动态规律

答案：B。世界模型的核心目标是学习环境动态与因果规律，视频生成只是它的输出接口之一；它还能服务规划、决策与仿真，故“冰山一角”最贴切。A 把两者等同、C 与事实相反、D 否定了动态学习，均错误。