世界模型评测基准与核心指标

可视化演示

展示微服务架构中API网关请求路由、服务网格Sidecar代理模式和熔断器状态机，动态演示服务间通信与容错机制。

评测维度总览

小度的第一次月考成绩单发下来了。班主任把成绩单摊开，发现上面不只有数学，还有物理、语文和作文。数学分漂亮极了，物理卷上却画出一个“苹果向上飞”的荒谬场景，语文作文里“小明走进房间”的下一句竟是“小明站在屋顶”。如果只看数学分，你会以为小度是天才，可翻开全科成绩单，问题立刻一目了然。

世界模型同理。它在智能体里扮演“预演者”的角色：接收真实的当前状态 \(s_t\)，推断后续状态 \(s_{t+1}\)。研究者需要像成绩单一样的东西，从多个侧面评估预演质量，于是把评测拆成四大核心维度：预测准确性、物理合理性、时序一致性、多样性。这四者缺一不可，评测目标定位也不只是为了打分排名，更是为了定位短板、对比模型、驱动迭代。

预测准确性解决“和真实画面像不像”，物理合理性解决“有没有违反自然法则”，时序一致性解决“前后因果通不通”，多样性解决“未来是不是只有一种可能”。默认情况下，四个维度可以等权汇总成一个总分，方便快速排名；深入分析时则要逐科拆开看细节。

一张完整的成绩单不会只有单科。小度的班主任把四科分数写在同一张纸上，才看清了这个孩子的真实水平——这正是世界模型评测的第一课：多维衡量，缺一不可。

预测准确性度量

拿到成绩单，先看数学——这是最直观的一科。数学卷上每道计算题都有标准答案，小度算出的结果与标准答案越接近，得分越高。预测准确性就是世界模型的“数学分”。

在技术层面，“标准答案”是真实的下一帧画面，“小度算出的答案”是模型预测的下一帧画面。最朴素的做法是把两幅画面逐像素做差。差得越少，说明模型对低层视觉信息的拟合越好；差得越多，说明模型连“画面长什么样”都没学明白。

最常用的指标是 MSE——把所有像素误差平方后取平均；MAE 则取绝对误差的平均，对个别极端像素更宽容。为了让分数更贴近人眼感受，研究者还会计算 PSNR、SSIM 等感知质量指标，以及在高维语义空间检查“物体是否存在、类别是否正确”的语义一致性。不同指标计算方式各有侧重：像素级误差敏感于轻微错位，感知指标更接近人类主观判断，语义指标则抓大放小。评测时通常多种指标一起上报，避免单一指标被偶然噪声带偏。

数学分高只能说明小度“算得准”，但算得准不等于真正理解了世界。物理与语文两科，马上要给出更完整的答案。

物理合理性检验

数学卷的最后一题，小度写出了正确答案，但演算过程里小球被画成“直接穿过了桌面”。物理老师果断扣了大分：答案对了，过程违反物理定律，这样的预测在实际决策中同样危险。

物理合理性评测就是要抓住这类“过程错误”。它不看像素差多少，而是检查预测的场景是否遵守经典力学、运动学与接触约束等自然规则。一辆车不可能瞬间横移，一个杯子不可能悬浮在空中，两个物体不可能互相穿过——这些规则是物理老师批改“预演草稿”的依据。

常用检查包括：运动学约束（位移曲线是否出现突变、加速度是否异常）、碰撞接触约束（物体接触面法向速度是否符合反弹规则）、能量守恒检查（孤立系统动能与势能之和是否稳定），以及用物理引擎对同一场景做数值模拟，作为对照基准。通过这些约束，可以把“画面看着像但物理上荒谬”的预测过滤出来。碰撞约束是其中最典型的公式化检查。

物理老师从来不会只看那道计算题的红色对勾，而是把草稿纸上的每一条受力分析都检查一遍。世界模型评测里的物理合理性，就是要做这样较真的审查。

时序一致性评估

语文考试里有一道“续写故事”题。小度开头写“小明推开门走进房间”，结尾却写“小明站在屋顶上”。老师皱起眉头：故事的前因后果完全断裂。时序一致性，就像语文老师对故事逻辑的检查。

世界模型预测的是一个连续时间序列，而不是一张孤立的图片。如果模型单帧预测得不错，跨多帧后因果关系却崩了——比如人先站在左边、下一帧瞬移到右边——那这样的预演就不可信。时序一致性评估要回答的核心问题是：状态转移是否符合因果规律？

这种评估关注因果逻辑检验：从状态 \(s_t\) 到 \(s_{t+1}\) 的转移是否有合理依据。常见操作包括统计状态转移概率 \(P(s_{t+1}|s_t,a_t)\)，用互信息衡量相邻状态间的依赖强度；长程一致性则让模型预测更长序列，再分阶段核对事件是否自洽；更直观的说法是“故事连贯性”——要求整个预演像一段前后呼应的叙事，而不是一组零散片段。

语文老师要看到故事所有段落串成一条顺畅的线，才肯打高分。世界模型的时序一致性评分，同样是检验它是否真的理解“前因后果”。

多样性度量

作文考试还有一道开放性命题：“明天的天气有哪几种可能？”小度的答案是三个字“都一样”，然后交上了三份一模一样的答卷。作文老师叹了口气：未来本来就充满多种可能，只会给一个答案，谈何创造力？

现实世界不是确定性的。同样的状态 \(s_t\) 配上不同的随机因素，会通向多个合理的 \(s_{t+1}\)。世界模型应该输出“假设空间”——一组多样且合理的未来——而不是单一答案。尤其在做决策规划时，如果模型只给出一条路，规划器一旦遇到意外就没有备选方案。

多样性的度量通常看模型对同一输入生成的 \(K\) 个样本之间有多大差异。像素空间可以用两两欧氏距离，感知层面常用 LPIPS——在神经网络特征空间衡量两幅图“看起来有多不同”；分布层面还能用 FID 衡量生成样本集合与真实样本集合在特征空间的距离。除了这些距离，还要统计“有效假设数量”：如果大多数生成结果几乎相同，即使个别样本差异极大，多样性也不合格。核心思想是“假设空间覆盖”要广且均匀。

作文老师并不要求小度写出天马行空的离谱答案，而是希望他在“合理”的边界里展现多种可能。多样性必须与物理合理性、预测准确性联合评判，才有真正的价值。

评测体系搭建

现在各科的试卷都有了，但一场大考还缺关键一环：考务中心。谁来收卷？谁来统一判分？谁来算总分、排榜单？如果每个老师各自为政，成绩单就永远无法横向比较。评测体系搭建，就是给世界模型建一座智能考务中心。

世界模型评测从“某几个指标”走向“一套体系”，需要搭建自动化流水线：固定一批测试场景，让所有候选模型在同一数据上预演，统一计算各维度分数，再做归一化与加权聚合，最后把结果写进排行榜。这样不同团队训练出的模型，才能在小度、小知、小慧这些“考生”之间公平比拼。

这一步要处理大量工程细节：数据集的场景分布要足够多样，避免模型只在特定环境下表现出色；各维度的分数量纲不同，必须先归一化到同一尺度再加权，权重按任务侧重调整；排行榜要留档完整日志，方便复现与回归。综合加权评分之后，还要做“短板诊断”——用子项分数定位模型最弱的环节，针对性调整训练目标或数据配比，形成“评测—发现—修复—再评测”的迭代闭环。

考务中心让所有学生坐在同一间考场、面对同一张试卷。世界模型的排行榜，也正是因为有了统一评测流水线，才让模型之间的比较变得公平而有意义，也让每个模型的短板在聚光灯下无处藏身。

AI 应用场景

Python 演示

import numpy as np def clamp(x, lo=0.0, hi=1.0):    return max(lo, min(hi, x))  class WorldModelEvaluator:    """简易世界模型评测器，实现四个核心维度指标。"""     def __init__(self):        self.gt_frames = []        self.pred_frames = []        self.sample_frames = []     def accuracy_score(self, pred, gt):        mse = float(np.mean((pred - gt) ** 2))        return clamp(1.0 / (1.0 + mse))     def physical_score(self, pred, prev):        diff = np.abs(pred - prev)        max_jump = float(np.max(diff))        return clamp(1.0 - max_jump / 2.0)     def temporal_score(self, frames):        arr = np.array(frames)        if len(arr) < 2:            return 1.0        diffs = np.diff(arr, axis=0)        std = float(np.std(diffs))        return clamp(1.0 - std / 0.5)     def diversity_score(self, samples):        if len(samples) < 2:            return 0.0        total = 0.0        count = 0        for i in range(len(samples)):            for j in range(i + 1, len(samples)):                total += float(np.linalg.norm(samples[i] - samples[j]))                count += 1        return clamp(total / count)     def evaluate(self):        acc = self.accuracy_score(self.pred_frames[-1], self.gt_frames[-1])        phy = self.physical_score(self.pred_frames[-1], self.pred_frames[0])        tem = self.temporal_score(self.pred_frames)        div = self.diversity_score(self.sample_frames)        total = (acc + phy + tem + div) / 4.0        return {            "accuracy": round(acc, 3),            "physical": round(phy, 3),            "temporal": round(tem, 3),            "diversity": round(div, 3),            "total": round(total, 3),        }  if __name__ == "__main__":    rng = np.random.default_rng(42)    t = np.linspace(0, 1, 30)    gt = np.sin(2 * np.pi * t)    pred = gt + rng.normal(0, 0.05, size=gt.shape)    samples = [gt + rng.normal(0, 0.3, size=gt.shape) for _ in range(8)]     evaluator = WorldModelEvaluator()    evaluator.gt_frames = [gt]    evaluator.pred_frames = [pred]    evaluator.sample_frames = samples     result = evaluator.evaluate()    print(result)

1. mse = float(np.mean((pred - gt) ** 2))计算预测与真实序列的均方误差，越小越准。
2. return clamp(1.0 / (1.0 + mse))将误差映射到 0~1，MSE 为 0 时得到满分 1。
3. max_jump = float(np.max(diff))找相邻帧变化最大的位置，跳变越大物理上越可疑。
4. diffs = np.diff(arr, axis=0)对连续帧求差分，代表每两步之间的变化量。
5. total += float(np.linalg.norm(samples[i] - samples[j]))累加两两生成样本的欧氏距离，衡量多样性。
6. total = (acc + phy + tem + div) / 4.0默认四维等权取平均，得到最终综合分。

常见误区

面试题