MMLU：评测稳定性

可视化演示

评测稳定性关注MMLU分数在不同运行条件下的波动程度。温度参数、prompt格式、选项顺序和采样策略等因素都可... 切换模式查看不同维度。

稳定性内涵

设想你是一位烘焙师，接到一份写满了原料比例的蛋糕配方。你严格按照配方操作，却发现三次成品的重量都不同。你会明白：配方描述的是“理想结果”，而现实结果取决于一连串环境条件。MMLU 评测也是这样——同一个模型、同一份题库，只要运行条件不同，分数就会或大或小地漂移。

所谓“评测稳定性”，就是指一个模型在 MMLU 上的得分，在不同环境、不同设置下重复运行时能保持多大程度的一致。如果稍微换一种 prompt 写法，分数就从 68 跳到 74，那么这个分数就不太“稳”。不稳定的分数会误导我们：无法判断一次提升是模型真的变强了，还是只是运气好。

那么 MMLU 的分数到底是怎么算出来的？它并不是一个神秘的黑盒读数，而是一次次对错判断的汇总结果。把所有题目的回答按照“答对算 1、答错算 0”加起来，再除以题目总数，就得到了最终的百分比得分：

回到烘焙的比喻：这个公式就像“好吃的蛋糕块数 ÷ 总块数”。只要烤箱温度（环境条件）一变，你数出来的“好吃块数”就会变，最终比例自然也就不同了。

温度参数

烘焙中，烤箱温度是最容易“任性”的变量：温度高了，外焦里生；温度低了，半天不熟。在 LLM 评测中，temperature 参数就是这样一个“火候旋钮”，它直接控制模型回答时有多“随机”。

当温度设为 0 时，模型每次都选择概率最高的那个词来回答，这种策略叫贪心解码，输出几乎是完全确定的——只要输入不变，答案不变。而把温度调高，模型就不再只选最大值，而是按照概率分布“抽签”选择词。温度越高，这个概率分布被抹得越平，低概率的词语也可能被选中，答案也就越来越飘忽。

这个“抽签概率”的数学形式是带温度的 softmax。设模型对某个位置各个候选词的原始得分为 $\text{logit}_i$，温度 $T$ 会先对所有 logit 做一次“缩放”，再变成概率：

所以在评测中，如果两个人用了不同的温度跑同一个模型，分数可能差好几个点。这就像配方明明一样，一个用 170 度、一个用 200 度，烤出来的蛋糕自然不会一样。

提示格式

同一份配方，写成“白糖 200 克”和写成“糖约两杯”，烘焙结果可能完全不同——份量固然相同，但理解成本不同、误差也不同。提示词（prompt）就是给模型看的“配方写法”。

在 MMLU 评测中，prompt 的格式包含多个可变的细节：问题表述是用“以下哪个选项正确？”还是“请回答该问题”；指令措辞是中文还是英文；少样本示例给 1 个还是 5 个；示例的呈现方式是用对话格式还是纯文本格式……这些看似“无关紧要”的写法差异，都会改变模型对任务的理解，进而改变答对概率。

一条好的“配方式” prompt 应当清晰、稳定、可复用。评测者通常会把 MMLU 的题目统一套进一个固定的模板中，比如：

如果模板不断变化，就相当于每次烤蛋糕都换一种配方写法，分数自然没法直接比较。这也是为什么正规评测榜单会公开并锁定 prompt 模板——不是为了限制创新，而是为了确保所有参赛模型拿到的是同一份“配方说明书”。

The following are multiple choice questions about {subject}.Question: {question}Choices: {choices}Answer:

选项顺序

烘焙里，“先加糖再加油”还是“先加油再加糖”会影响面糊的状态。选择题里，选项的排列顺序对 LLM 也有类似影响——这就是位置偏差。

假设同一道 MMLU 题，正确答案是 B。把选项顺序固定为 A/B/C/D，模型可能因为“更习惯选 A 或 C”而答错；如果把选项顺序打乱成 D/A/C/B，同样的题目，模型也许就答对了。也就是说，模型对一个选项的偏好，不只来自选项内容本身，还来自它所在的位置。

为什么会这样？很多 LLM 在训练语料中见过大量“标准格式”的题目，A、B、C、D 的位置就悄悄和某种概率关联了起来。这就像一只习惯了“盐罐永远放在左手边”的厨师，一旦你把盐罐换到右手边，他做菜时就会犹豫。评测稳定性要求我们尽量减少这种“位置带来的运气成分”。常见的做法是：评测时把选项顺序随机打乱（shuffle），或者用多组不同顺序的结果做平均。这样一来，任何单一位置的“地利”都会被摊平，分数更接近模型真实的知识水平。

采样策略

面糊的搅拌手法也会影响蛋糕的松软度：搅得太狠，气泡过多，成品结构松散；搅得均匀，组织才细腻。LLM 的采样策略就扮演了“搅拌手法”的角色。

temperature 控制的是随机程度，而采样策略决定的是“在多大概率范围内抽签”。比如 核采样（top-p） 会在累计概率达到某个阈值 $p$（如 0.9）的最小候选集合里采样，阈值设置不同，输出同样会变化。除此之外，即便温度相同、策略相同，模型每次生成的随机数不同，答案也可能不同。

这意味着，单次运行 MMLU 就像只烤一个蛋糕来判断配方好坏——太依赖运气了。更可靠的做法是“多烤几次、看平均状态”：同一条件下运行多次，观察分数的均值与方差。如果多次运行分数都挤在一起，说明评测稳定；如果忽高忽低，说明采样策略引入了大量噪声。实际工程中，我们通常用多次运行的平均分作为模型的代表分数，同时记录标准差，用来告诉别人“这个分数究竟有多可信”。

控制变量

要找出蛋糕问题出在哪个环节，聪明的烘焙师会“一次只改一个条件”：这炉只加温度，那炉只换面粉，然后对比结果。这就是控制变量。

在 MMLU 评测中，控制变量的意义同样重大。假设你要对比两个模型谁更强，正确流程是：固定题库不变、固定 prompt 模板不变、固定选项顺序规则不变、固定采样策略不变，只允许“模型本身”这一个变量发生改变。如果同时改了 prompt 和温度，即使模型 B 分数更高，你也不知道优势来自模型还是来自配置。

实践中有几个具体抓手。第一，固定随机种子：通过给随机数生成器设定种子，让多次实验的“随机”在相同路径上重现，减少采样带来的干扰。第二，预设模板：把 prompt 模板写死在评估代码里，任何人不经评审不得改动。第三，统一流程：所有模型用同一套脚本、同一批测试题、同一个硬件配置环境下运行。这样做的目的并不是消除所有随机性——随机性不可能消除——而是让随机性不会“莫名其妙地偏向某一方”。

为了量化剩余随机性的影响，我们引入标准误（Standard Error）。如果同一条件下运行 $n$ 次，得到分数的标准差为 $\sigma$，那么平均值的标准误和对应的 95% 置信区间可以写成：

这就像你用一个不太准的温度计测烤箱，多测几次再取平均，得到的读数才更接近真实温度；同时你还能给出一个“大约在 170 到 180 度之间”的区间，而不是拍脑袋说“就是 175 度”。

稳定建模

最后一步，是把稳定性思维变成你的工作习惯。一个只写数字的评测结论，就像只说“蛋糕大概不错”而不给任何操作参数——别人无法复现，也无法信任。

可靠的做法是给分数建立“稳定性档案”：报告多次运行的平均分，同时也报告标准差或 95% 置信区间；说明使用的温度、prompt 模板、选项顺序规则、随机种子等关键配置。当你要声称“模型 A 比模型 B 高 2 分”时，先看一眼置信区间——如果两个模型的区间大量重叠，那这 2 分的差异可能只是噪声。

这种方式也解释了为什么真正权威的 LLM 榜单往往要求提交方提供详细的评测配置，甚至用统一的评测框架去复现分数。因为榜单的意义不只是排出一个名次，而是给出一个“可复现、可比较、可追溯”的评测信号。作为一个 AI 从业者，当你拿到一份 MMLU 分数时，应该条件反射地问三个问题：这个分数是跑了几次得到的？用了什么温度？prompt 模板和选项顺序是怎样的？这三个问题的答案，决定了这个分数在你心中有多重。

学会读稳定性，你就不再会被单个漂亮的数字迷惑。你手里的“配方”，终于有了精确到克、到度、到分钟的整套参数。

AI 应用场景

Python 演示

import random def run_mmlu_trial(temperature=0.0, seed=42, option_shuffle=True, prompt_tone="standard"):    random.seed(seed)    n_questions = 40    correct = 0    for q in range(n_questions):        true_logit = 2.0 if prompt_tone == "standard" else 1.2        if not option_shuffle:            true_logit -= 1.5        noise = random.gauss(0, 1.0 + temperature * 3.0)        if true_logit + noise > 0:            correct += 1    return correct / n_questions * 100 def eval_stability(condition, trials=6):    scores = [run_mmlu_trial(**condition, seed=i) for i in range(trials)]    mean = sum(scores) / len(scores)    var = sum((s - mean) ** 2 for s in scores) / (len(scores) - 1)    std = var ** 0.5    se = std / len(scores) ** 0.5    return mean, std, se def show(label, condition):    mean, std, se = eval_stability(condition)    print("%s: 均值 %.2f, 标准差 %.2f, 标准误 %.2f" % (label, mean, std, se)) if __name__ == "__main__":    show("低温(贪婪)", {"temperature": 0.0, "option_shuffle": True})    show("高温(随机)", {"temperature": 1.5, "option_shuffle": True})    show("固定选项顺序", {"temperature": 0.0, "option_shuffle": False})

1. noise = random.gauss(0, 1.0 + temperature * 3.0)温度越高，模拟的“回答噪声”越大，分数越容易波动。
2. if not option_shuffle: true_logit -= 1.5固定选项顺序会引入位置偏差，压低正确率。
3. scores = [run_mmlu_trial(**condition, seed=i) for i in range(trials)]同一配置下用不同种子运行多次，收集分数样本。
4. mean = sum(scores) / len(scores)多次运行的平均分作为该配置的“代表水平”。
5. var = sum((s - mean) ** 2 for s in scores) / (len(scores) - 1)用样本方差公式计算离散程度，样本数减 1 是为了无偏估计。
6. se = std / len(scores) ** 0.5标准误由标准差除以样本量开方得到，反映均值估计的精确度。
7. show("高温(随机)", {"temperature": 1.5, ...})对比实验：只改温度，其他变量不动，体现控制变量思想。

常见误区

面试题