世界模型基础：JEPA联合嵌入预测架构与表征学习

可视化演示

展示JEPA联合嵌入预测架构的核心机制，包括表征空间预测、坍塌避免策略及自监督学习流程，通过交互控件探索嵌入空间动态。

预测空间之辨

小海刚上船时洋相百出。他搬来一台高速摄像机，对着海面一秒拍一千张照片，想用眼前每一帧像素推出三小时后的画面。结果呢？他算出来的“未来海面”糊成一团马赛克，连浪花的方向都是错的。老船长笑得直摇头：“你盯着每一滴水的轨迹去猜，等于让海洋里最细碎的玩笑牵着你的鼻子走。你看不透的，不是你的眼睛，是你选错了看海的角度。”

像素预测失败不是模型不够勤奋，而是数学上的必然。原始图像的空间维度动辄几十万上百万，其中绝大多数细节是随机、高熵的：浪花顶端哪一秒破碎、泡沫飞向哪个方向，本质上不可预测。就算你把过去十秒的每一帧都背下来，也无法决定下一秒水花的形状。但海面并非全无章法——风的方向、浪的高度、洋流的走向，这些“慢变量”稳定得多，也更有预判价值。JEPA 的第一条原则，就是把这些慢变量抽出来，而不是在像素的汪洋里挣扎。

JEPA 把观测 x 和待预测部分 y 各自送进编码器，得到低维表征 s_x、s_y，再在表征空间里比较预测与真相。用公式表达，就是两种预测方式的对比：

$$\displaystyle \underbrace{\mathbb{E}_{p(x)}\Big[\big\|\hat{x}-x\big\|^2\Big]}_{\text{像素空间: 猜每一滴水}} \;\gg\; \underbrace{\mathbb{E}_{p(x,y)}\Big[\big\|\hat{s}_y-s_y\big\|^2\Big]}_{\text{表征空间: 猜海况}}$$

1. 期望符号：对海面上大量观测样本取平均，让结论不依赖某一个特例。

$$\mathbb{E}_{p(x)}[\cdot]$$

2. 像素空间误差项：模型逐像素还原未来画面，每一个 RGB 值都参与计分，误差被海量噪声淹没。

$$\|\hat{x}-x\|^2$$

3. 表征空间误差项：先分别编码出“海况” s_y 与预判海况 ŝ_y，只比较这组低维数字。

$$\hat{s}_y = h_\psi(f_\theta(x)), \quad s_y = g_\phi(y)$$

4. 数量级对比：大量实验显示左边远大于右边（\gg），这正是 JEPA 选择在表征空间下注的原因。

$$\gg$$

小海恍然大悟：原来“看海”和“数水滴”是两门手艺。聪明的船长先把海面翻译成几个数字，再去推演这几个数字三小时后会变成什么。预测空间选对了，规则才可能被学到。这一步，就是整个 JEPA 世界模型的基石。

JEPA架构解剖

老船长给小海画了一张“看海流程图”。他说，我每次预判，脑海里其实有三个角色：眼睛——负责看清楚眼前这片浪；记忆——负责把看不见的那片海编成底稿；想象力——负责从眼前海况推出远方海况。三个角色各司其职，缺一不可。

JEPA 的架构正是这三个角色的神经网络版本。上下文编码器 f_\theta 把“已见的上下文 x”压成表征 s_x；目标编码器 g_\phi 把“想要预测的目标 y”也压成表征 s_y；预测器 h_\psi 则扮演想象力，输入 s_x 输出对 s_y 的猜测。三者拼接起来，就是完整的“看海回路”：

$$\displaystyle s_x = f_\theta(x), \quad s_y = g_\phi(y), \quad \hat{s}_y = h_\psi(s_x)$$

值得注意的是，JEPA 采用的是“非对称结构”。目标编码器与上下文编码器不必是同一个网络，可以更庞大、更新更缓慢；而预测器只存在于上下文这一侧。这与自编码器（把输入压扁再展开）有本质区别——JEPA 不需要解码器把 s_y 还原成像素，它只要求在表征空间里“猜得中”，至于表征长什么样，由任务和损失共同塑造。

1. 上下文编码器 f：把“已看见的浪花”压缩成一组低维数字，像船长眯眼读浪。

$$s_x = f_\theta(x)$$

2. 目标编码器 g：把“远方海面”同样压成低维数字，为后续比较提供标尺。

$$s_y = g_\phi(y)$$

3. 预测器 h：站在 s_x 的基础上，猜测远处的海况表征是多少。

$$\hat{s}_y = h_\psi(s_x)$$

小海看着图乐了：原来船长所谓的“直觉”，就是这三个神经角色日复一日配合出的默契。架构并不玄妙，无非是“看见—编码—推想”三部曲，只是每一步都交给了可学习的网络。

表征学习原理

老船长问小海：“你说，什么叫'看懂海'？”小海说：“看清每一朵浪。”船长摇头：“看懂是把一万朵浪花咽下去，吐出来的只是三个字——'要起风'。你看，我记不住哪朵浪长什么样，却从来不会把'起风'和'晴天'搞混。”

“看懂”的本质是丢信息：把与判断无关的细节扔掉，把与因果有关的变量留住。表征学习的目标，就是让编码器自动完成这种取舍。好的表征 s 就像船长的“海况笔记本”，几行数字里装的是风、浪、潮，而不是浪花的照片。JEPA 用一个简洁的距离目标来训练这套“笔记本”：

$$\displaystyle \min_{\theta,\psi}\; \mathbb{E}_{(x,y)}\left[\left\|h_\psi(f_\theta(x)) - \mathrm{sg}\big[g_\phi(y)\big]\right\|^2\right]$$

这个损失同时塑造了表征的两个性质：不变性——同一语义场景无论光照、角度怎么变，表征都基本不变，就像“要起风”三个字不随温度计刻度改变；慢特征假设——表征随时间的变化比原始观测慢，更适合做预测。而“多尺度抽象”把空间与时间上的长程依赖压缩进同一个低维向量，让预测从“算细节”变成“算趋势”。

1. 外层期望：在大量 (x, y) 样本对上的平均误差。

$$\mathbb{E}_{(x,y)}[\cdot]$$

2. 内层距离范数：预判表征与真实表征的欧氏距离，距离越小表示越准。

$$\|\cdot\|^2$$

3. 停止梯度 sg：目标编码器不接收梯度，只作为“安静的标尺”，防止模型偷懒把所有表征压成一点。

$$\mathrm{sg}[g_\phi(y)]$$

4. 优化范围：只更新 \theta 与 \psi，即只训练上下文编码器和预测器。

$$\min_{\theta,\psi}$$

小海试着在笔记本上写下“要起风”三个字，突然懂了：原来做预判的高手，都是“信息压缩”的高手。表征学得好不好，不看它记了多少，而看它在关键时刻能吐出多少“趋势”。

预测与能量函数

老船长有个习惯：每天收工，他会在航海日志上写一行预判，第二天再写下实际海况，两行放在一起比。小海问：“您记这些账干什么？”船长说：“预判得准不准，得有个账本。差得远，明天就少说大话，多观察。”

这个“账本”在 JEPA 里就是能量函数。能量不是一个抽象概念，它就是一个数：预判出来的海况表征与真实海况表征之间的距离。距离大，说明这次“看走眼”，能量高；距离小，说明预判靠谱，能量低。整个训练过程，就是让这段距离慢慢缩短：

$$\displaystyle E(x,y) = D\big(\hat{s}_y, s_y\big), \qquad \min_{\theta,\psi}\; \mathbb{E}_{y \sim p(y|x)}\big[E(x,y)\big]$$

围绕能量函数，JEPA 在实现上还有几个关键细节。预测目标怎么构造？对视频任务，通常把可见帧作为 x、未来帧作为 y；对图像任务，把遮挡区域作为 y。所谓“停止梯度与 EMA”：目标编码器虽然不接收梯度，但会缓慢地随上下文编码器移动（指数滑动平均），保证标尺既稳定又不落伍。损失函数因此避免了对比学习中“拉远负样本”的繁琐，也不必担心表征整体塌缩。

1. 距离函数 D：衡量两个表征向量的差距，常用平方欧氏距离。

$$D(a,b) = \|a-b\|^2$$

2. 条件期望：对同一个 x 可能出现的不同 y 求平均，逼模型照顾各种可能。

$$\mathbb{E}_{y \sim p(y|x)}[\cdot]$$

3. 双目标最小化：同时优化编码与预测网络，让“眼力”和“想象力”一起进步。

$$\min_{\theta,\psi}$$

小海也养成了记日志的习惯。他发现，每天把预判和真相摆在一起，日子久了，“海”在他心里就有了形状。能量函数就是 JEPA 的航海日志，一行行账目，把直觉打磨成可检验的智慧。

非对比学习策略

隔壁船有个年轻的渔夫，学认鱼的方法是“只认带鱼，见什么都跟带鱼比一比，不是带鱼就划掉”。老船长听罢皱眉：“你把整个海都当成了背景板，光是为了确认'不是带鱼'就要捞上万条鱼，累不累？我认鱼从不和'不是鱼的'比——我只看它自己的鳞、鳍、肚子，鱼的样子本来就该让自己说话。”

这番话点出了对比学习的困境。对比学习（如 SimCLR）需要构造大量负样本，把正样本拉近、负样本推远，计算量大姑且不论，更麻烦的是“推远”可能把有用的表征结构也推没了。JEPA 走的是另一条路：不跟别的样本比，而是与自己的结构较劲。这条路线在文献里叫“非对比学习”：

$$\displaystyle \mathcal{L} = \underbrace{\lambda_v \mathcal{V}(Z)}_{\text{方差: 别塌缩}} + \underbrace{\lambda_i \mathcal{I}(Z,Z')}_{\text{不变: 预判对齐}} + \underbrace{\lambda_c \mathcal{C}(Z)}_{\text{协方差: 维度去冗余}}$$

VICReg 是典型的代表：方差项给每个维度的标准差设一个下界，阻止“所有样本编码成同一个点”的塌缩灾难；不变项拉近两个视角（如预判与真相）的表征距离；协方差项把维度间的相关性压下去，逼表征用独立的分量表示不同的语义节奏。另一类做法是蒸馏式：用 EMA 编码器的输出当“软标签”，让在线网络去模仿，同样绕开了负样本。这些策略共同保证了非对比学习在不看“别的鱼”的前提下，依旧学出饱满而不塌缩的表征。

1. 方差项：每个特征维度的标准差不能太小，防止表征缩成一点。

$$\mathcal{V}(Z) = \sum_i \max(0, \gamma - \mathrm{Std}(z_i))$$

2. 不变项：预判表征和真实表征逐样本对齐，均方距离越小越好。

$$\mathcal{I}(Z,Z') = \|Z - Z'\|_F^2$$

3. 协方差项：不同维度间的协方差趋近零，让每个维度各管一摊。

$$\mathcal{C}(Z) = \sum_{i \neq j} [\mathrm{Cov}(Z)]_{ij}^2$$

小海若有所思：“所以好渔夫认鱼，是让鱼自己讲清楚自己，而不是拿全海当靶子。”老船长点头：“JEPA 也一样——它用结构约束代替了负样本，让表征在自我的规矩里长得丰满。这才是聪明的省力法。”

世界模型应用

学会了读海况，小海终于知道老船长为什么总能提前收帆了。船长不是神仙，他只是在脑子里养了一张“海图”：看到此刻的海况，就在心里快进三小时，推演风会怎么变、浪会怎么长，再倒推现在该做什么。这张能推演的“海图”，就是世界模型。

世界模型要回答的问题只有一个：给定当前状态和动作，下一步世界会变成什么样？JEPA 的答案是：不必渲染出未来的每一帧画面，只需预测未来的表征——小海只需要知道“三小时后八级风”就够了，不需要提前看见每一片云的形状。公式上，一步推演写成：

$$\displaystyle \hat{s}_{t+1} = h_\psi\big(\mathrm{Enc}(o_t),\; a_t\big), \qquad a^\ast = \arg\min_a \sum_{k=1}^{K} E(s_{t+k})$$

这个模式在几个方向开花结果。视频预测：模型看着已发生的帧，预测未来帧的表征，导演们可以用它预演情节。机器人操控：机械臂先在心里“演”一遍抓取动作，把过程能量最低的轨迹挑出来执行。自动驾驶：车辆用 JEPA 预测被遮挡区域（高架下、死角里）的表征，提前感知危险而不是等视觉系统撞上去再说。实际系统里，预演常常不止一层，而是多层堆叠，像船长把“三小时”拆成无数个“三分钟”逐段推演。

1. 状态表征与动作联合：预测器输入当前表征和动作，输出下一时刻表征——这就是“行动的后果”。

$$\hat{s}_{t+1} = h_\psi(\mathrm{Enc}(o_t), a_t)$$

2. K 步想象推演：把预测得到的表征当作下一步输入，循环 K 次，形成一条未来轨迹。

$$\hat{s}_{t+k} = h_\psi(\hat{s}_{t+k-1}, a_{t+k-1})$$

3. 规划目标：在所有候选动作中，选择让整条轨迹能量最低的那个——也就是最符合“海况规律”的那条路。

$$a^\ast = \arg\min_a \sum_{k=1}^{K} E(\hat{s}_{t+k})$$

小海望着老船长那张泛黄的航海图，忽然觉得它活了过来——图上每一个记号都连着推演，每一条航线都在和风浪谈判。JEPA 给机器人的，正是这样一张“会思考的海图”：世界不再是眼前一帧帧画面，而是一串可以反复推演的表征。

局限与展望

小海终于出师当了二副，可没过多久就碰了壁。一次他信誓旦旦预判“三小时后微风”，结果海面刮起十级狂风。老船长叹道：“孩子，海的多变里有一种狡猾——它让'平均'看起来很安全，却把危险藏在平均之外。你学的是'大概率的海'，还没学会'小概率的险'。”

这正是 JEPA 眼下最诚实的一面：预测器学到的是条件均值，而真实世界是多模态的。对同一个上下文，“明天可能下雨也可能暴晒”，模型只能给出一个不上不下的折中表征。“回归均值”让它在低风险场景中好用，却天然偏向平庸——极端但致命的情形往往被平滑掉。

$$\displaystyle p(z \mid x) \;=\; \sum_{i} \pi_i\, \mathcal{N}(z; \mu_i, \Sigma_i) \;\longleftrightarrow\; \mathbb{E}[z \mid x]$$

此外，JEPA 学到的表征是自监督的、任务无关的，下游任务（识别、决策、问答）往往需要再适配；它也不直接做生成，要产出一张图片仍需外挂生成器。未来的方向包括：引入潜变量或离散编码来刻画多模态未来；把能量函数升级为可控条件能量，让“要大风还是要晴天”成为可拨动的旋钮；把 JEPA 的推演与强化学习的规划器耦合，让世界模型真正成为智能体的一部分。

1. 混合分布：把未来刻画成多个高斯分量的加权和，每个分量代表一种可能的海况。

$$p(z|x) = \sum_i \pi_i \mathcal{N}(z;\mu_i,\Sigma_i)$$

2. 单一期望：条件期望把多种未来揉成一个点，信息在平均中流失。

$$\mathbb{E}[z|x] = \int z\, p(z|x)\, dz$$

3. 箭头对比：从“多模态分布”到“单点期望”，正是 JEPA 当前预测器的能力边界。

$$\longleftrightarrow$$

老船长最后教给小海的，是“敬畏”。JEPA 是一张好图，但地图不是海面本身。它擅长捕捉规律，仍需人类为小概率的险情留一条退路——而下一代的 JEPA 研究，正在把这最后一条退路也画进推演之中。

AI 应用场景

Python 演示

import numpy as np rng = np.random.RandomState(0)  class MLP:    # 极简两层网络, 用来当编码器和预测器    def __init__(self, din, dout, seed):        r = np.random.RandomState(seed)        self.w1 = r.randn(din, din) * 0.3        self.w2 = r.randn(din, dout) * 0.3        self.b1 = np.zeros(din)        self.b2 = np.zeros(dout)     def forward(self, x):        h = np.tanh(x @ self.w1 + self.b1)        return h @ self.w2 + self.b2     def grad(self, x, dz):        h = np.tanh(x @ self.w1 + self.b1)        dh = dz @ self.w2.T * (1 - h * h)        return (x.T @ dh, dh.sum(0), h.T @ dz, dz.sum(0))     def params(self):        return [self.w1, self.b1, self.w2, self.b2]  def make_batch(n=64):    # 隐藏状态是相位 phi: 前 8 步波形当上下文, 后 8 步当目标    phi = rng.rand(n) * 2 * np.pi    t = np.arange(8) / 4.0    xs = np.sin(phi[:, None] + t[None, :])    ys = np.sin(phi[:, None] + t[None, :] + 2.0)    return xs, ys  enc = MLP(8, 3, seed=1)   # 上下文编码器 ftgt = MLP(8, 3, seed=2)   # 目标编码器 g (EMA 更新, 停止梯度)pre = MLP(3, 3, seed=3)   # 预测器 hlr, ema_ratio, start_loss = 0.05, 0.99, None for step in range(300):    xs, ys = make_batch()    sx = enc.forward(xs)    sy = tgt.forward(ys)        # 停止梯度: sy 不参与反向传播    sz = pre.forward(sx)    loss = np.mean((sz - sy) ** 2)    if start_loss is None:        start_loss = loss    dz = 2 * (sz - sy) / len(xs)    gpre = pre.grad(sx, dz)    h = np.tanh(sx @ pre.w1 + pre.b1)    dsx = (dz @ pre.w2.T * (1 - h * h)) @ pre.w1.T    genc = enc.grad(xs, dsx)    for p, g in zip(pre.params(), gpre):        p -= lr * g    for p, g in zip(enc.params(), genc):        p -= lr * g    for tp, ep in zip(tgt.params(), enc.params()):        tp[:] = ema_ratio * tp + (1 - ema_ratio) * ep xs, ys = make_batch(32)sz = pre.forward(enc.forward(xs))err = np.mean((sz - tgt.forward(ys)) ** 2)print("训练前损失 %.4f -> 训练后表征预测误差 %.4f" % (start_loss, err))

1. sy = tgt.forward(ys)目标编码器输出，不参与反向传播，即“停止梯度”，让目标表征当安静的标尺。
2. dz = 2 * (sz - sy) / len(xs)损失对预判输出的梯度，只流向预测器和上下文编码器。
3. dsx = (dz @ pre.w2.T * (1 - h * h)) @ pre.w1.T把梯度继续传回上下文编码器，让“眼睛”也跟着进步。
4. tp[:] = ema_ratio * tp + (1 - ema_ratio) * epEMA 更新目标编码器，像老船长用新经验缓慢修正老直觉。
5. err = np.mean((sz - tgt.forward(ys)) ** 2)在没见过的新样本上测量“预判海况”与“真实海况”的距离。

常见误区

面试题