MMLU学科分组分析：评测结果深度解读

可视化演示

展示MMLU评测结果的学科分组分析：不同学科类别的准确率柱状图对比，以及多模型在各学科的强弱热力分布。

MMLU考试设计

班主任手中的“联合摸底考”，和普通的单元测不同：它覆盖了数学、语文、物理、历史、法律、医学等几十个科目，每一科都有独立的卷面。大模型的 MMLU 基准考试，正是这样一份跨学科的“摸底卷”。

MMLU（Massive Multitask Language Understanding）由加州大学伯克利分校等机构发布，用来衡量大模型在广泛知识领域上的掌握程度。它从百科全书、教材、考试题库中抽取题目，覆盖57 个学科，题型全部是多项选择题，模型只需从若干选项中选出正确答案。这样设计的好处是客观、可复现，每一道题都有明确标准答案，机器可以自动判分。

为了不把 57 个学科堆成一团，评测方通常把它们归入几大知识领域：STEM（科学、技术、工程、数学）、人文、社会科学，以及法律、医学、商业等专业领域。学科分组分析的第一步就从这份“类目表”开始。就像班主任把卷子按文理科分好，才能判断一个学生是“文科脑”还是“理科脑”。

$$\displaystyle \text{Acc} = \frac{C}{N}$$

1. 统计答对数量：模型每答对一道题，正确题数加 1，最终得到 C。

$$\displaystyle C = \sum_{i=1}^{N} \mathbf{1}[y_i = \hat{y}_i]$$

2. 归一化为比率：用正确题数除以总题数 N，将绝对数量转化为 0 到 1 之间的比率，便于跨模型、跨学科比较。

$$\displaystyle \text{Acc} = \frac{C}{N}$$

这份“大考卷”如此设计，决定了总分只是起点。我们看成绩时，不光要问“考了多少分”，还要问“每一科各考了多少分”。这正是学科分组分析登场的时刻。

总分掩盖差异

小明总分 90，家长高兴坏了，但翻看各科成绩才发现：语文 98、数学 72、英语 95、物理 60。平均分很漂亮，可物理已经亮起了红灯。总分就像一块压缩饼干，把丰富的营养信息挤进了小小一块，嚼起来方便，却看不出原本的配方。

大模型的评测同样存在这个问题。两个模型总分都是 70 分，一个可能是各科均匀分布在 70 分附近，另一个可能是人文法律 90 分、STEM 数学 50 分。如果只看总分，你会以为它们“能力相当”，实际上它们的知识结构完全不同。

学科分组分析正是为了对抗这种“平均分幻觉”。它把 57 个学科拆开来看，计算每个学科组的得分，再观察这些组内得分之间的波动。如果各组得分差异很大，就说明模型存在严重的学科不均衡——某些知识领域很强，另一些却很弱。

$$\displaystyle \sigma^2 = \frac{1}{K}\sum_{g=1}^{K}(S_g - \bar{S})^2$$

1. 计算学科组均值：先把所有学科组的平均分算出来，得到基准线 $\bar{S}$。

$$\displaystyle \bar{S} = \frac{1}{K}\sum_{g=1}^{K} S_g$$

2. 求偏差平方：每个学科组得分减去总平均，差值越大说明偏离越远；平方处理是为了消除正负抵消。

$$\displaystyle (S_g - \bar{S})^2$$

3. 汇总取平均：把所有偏差平方加总，再除以学科组数量 K，得到“平均偏离程度”即方差。

$$\displaystyle \sigma^2 = \frac{1}{K}\sum_{g=1}^{K}(S_g - \bar{S})^2$$

看到方差大，班主任就知道小明偏科严重，需要重点关注弱科；看到方差小，才知道他是“均衡型选手”。总分这张压缩饼干，必须还原成各科明细才能指导下一步行动。

学科分组维度

班主任整理成绩单时，不会只写一个“总分 90”，而是按科目列一张表：语文一列、数学一列、物理一列……这就是分组。MMLU 的学科分组分析，也要决定“按什么维度去切”这个成绩单。

最常见的分组方式是按学科类别：57 个学科本身就是天然分组，每个学科一个格子。但有时学科太细，每个学科只有几十道题，统计结果不稳定。于是人们把学科归并成更大的知识领域组：STEM 组、人文组、社科组、专业领域组，每个组的样本量较大，统计更可靠。

另一种维度是按题目难度分层：把 MMLU 的题目按难易程度切片，观察模型在简单题、中等题、困难题上的表现差异。这有点像老师不但看科目，还看“基础题得分率”和“压轴题得分率”。分组维度的选择取决于你想要回答什么问题：想知道“模型懂不懂法律”，按学科分；想知道“模型是不是只会背常识”，按难度分。

$$\displaystyle S_g = \frac{1}{|D_g|}\sum_{i \in D_g} \text{acc}_i$$

1. 定义学科组 D_g：把属于同一学科组（如 STEM）的题目收集到一个集合中。

$$\displaystyle D_g = \{ i \mid \text{题目 } i \text{ 属于学科组 } g \}$$

2. 组内得分累加：将组内所有题目的得分加起来，得到组的原始总分。

$$\displaystyle \sum_{i \in D_g} \text{acc}_i$$

3. 除以组内样本量：用组内题目数 $|D_g|$ 做平均，得到学科组平均分，这个分数可以跨组比较。

$$\displaystyle S_g = \frac{1}{|D_g|}\sum_{i \in D_g} \text{acc}_i$$

分组维度选得越合理，成绩单的“颗粒度”就越贴合分析目标。小组看科目、大组看领域、纵切看难度，多维度交叉阅读，才能拼出完整的能力地图。

细粒度解读方法

班主任拿到成绩单后怎么读？先看每科分数排到全班什么位置，再和平均线比一比，最后在脑中画出一条“偏科曲线”。这套阅读流程，对应着学科分组分析的标准方法。

流程第一步是数据准备：从评测结果中提取每个样本的学科标签和是否正确，构建结构化数据。第二步是按组聚合统计：根据选定的分组维度，计算每个组的平均分，这就是上一节讲的分组平均分。第三步是与总体均值对比：把每个组的分数放在总体平均线的上下方观察，高出的是优势区，低出的是劣势区。

第四步是标准化处理：由于不同学科组的题目难度和样本量不同，直接比较原始分可能不公平，所以可以对每组计算 z-score，把原始分转化为“偏离总体多少个标准差”的标准化数值。最后一步是可视化呈现：用柱状图、雷达图等形式把分组结果画出来，让强弱分布一目了然。四个步骤合起来，就是一套可复用的学科分组解读流程。

$$\displaystyle z_g = \frac{S_g - \mu}{\sigma}$$

1. 计算总体均值：先求出所有学科组的总体平均值 μ，作为中心参考点。

$$\displaystyle \mu = \frac{1}{K}\sum_{g=1}^{K} S_g$$

2. 计算偏差：用学科组平均分减去总体均值，得到该组与中心的距离。

$$\displaystyle S_g - \mu$$

3. 除以标准差：把这个距离除以整体标准差 σ，得到以标准差为刻度的 z-score，方便识别离群组。

$$\displaystyle z_g = \frac{S_g - \mu}{\sigma}$$

z-score 大于 0 说明该组高于平均，小于 0 说明低于平均。班主任用“高于平均线还是低于平均线”来判断强弱，我们也用同样的逻辑，只是把感觉变成了精确的数值。

优势学科识别

班主任在成绩单上点出几科：“语文、英语稳定在前五，是班级优势科目。”学科分组分析同样要回答：这个模型哪些学科组最拿手？

方法是计算相对优势：用学科组平均分减去总体平均分，得到正数意味着该组领先于模型自身平均水平。领先越多，优势越明显。比如某模型总分 68 分，总体平均每科约 68 分，而法律组 91 分、医学组 88 分，说明它的知识强项集中在专业领域。

进一步，我们可以把这些优势学科聚成“能力簇”：如果模型同时在高能物理、化学、计算机多个 STEM 学科表现优异，就说它具有“理工科能力画像”；如果在历史、哲学、文学上拔尖，则偏向“人文能力画像”。这种画像对选型很有用：做医疗问答的产品，当然优先选医学组和生物组得分高的模型。

$$\displaystyle \text{Adv}_g = S_g - \bar{S}$$

1. 保留学科组得分：拿出某学科组的平均分 S_g，它代表该组的知识水平。

$$\displaystyle S_g$$

2. 求出总体平均线：把全部学科组平均分再取平均，得到模型自身的“平均水位” $\bar{S}$。

$$\displaystyle \bar{S} = \frac{1}{K}\sum_{g=1}^{K} S_g$$

3. 两者相减：学科组得分减去平均水位，超过 0 就是优势，超过越多优势越大。

$$\displaystyle \text{Adv}_g = S_g - \bar{S}$$

优势学科是模型身上的“长板”。识别出长板，就能理解这个模型适合承担什么任务；同时，长板的另一面——那些落在平均线之下的学科，正是下节要关注的盲区。

知识盲区定位

如果优势学科是成绩单上闪着光的星，那知识盲区就是被红笔圈出的及格线以下的科目。班主任给小明圈出物理，说“这科拖后腿，要补”。学科分组分析也要在成绩单上划出这些“拖后腿”的学科组。

判定盲区不能只看绝对分数，因为不同学科组难度不同。更合理的做法是设定一个差距阈值：当学科组得分显著低于总体平均分，且差距超过某个阈值 γ 时，就判定该学科组为知识盲区。比如总体平均 68 分，数学组只有 41 分，差距 27 分，远超阈值，显然是个大坑。

定位盲区后，还要追溯成因：是训练语料中该学科的文本占比太少？还是该领域专业术语复杂、模型难以理解？又或是相关题目涉及多步推理，模型力所不能及？只有结合盲区分布和题目特征，才能真正理解“模型为什么不会做这道题”。

$$\displaystyle \text{Gap}_g = \bar{S} - S_g, \quad \text{若 Gap}_g > \gamma \text{ 则判为盲区}$$

1. 设定参照：总体平均线：用所有学科组的平均分 $\bar{S}$ 作为“期望水平”。

$$\displaystyle \bar{S} = \frac{1}{K}\sum_{g=1}^{K} S_g$$

2. 计算偏离差距：总体平均减去该学科组得分，得到差距 Gap_g，正差距越大越薄弱。

$$\displaystyle \bar{S} - S_g$$

3. 设置阈值判定：当差距超过预设阈值 γ 时，把该学科组标记为知识盲区，进入重点观察名单。

$$\displaystyle \text{Gap}_g > \gamma$$

如果说总分是“平均水位”，那么盲区就是水下的深坑。只靠总分看不出深坑的存在，学科分组分析却能把每个坑的位置和深度精确画出来，为下一步的“补习计划”提供靶点。

针对性优化策略

班主任圈出了物理这个弱科，接下来的补习计划就有了方向：物理作业加量、周末物理辅导、考试前重点复习。针对盲区制定策略，远比无差别“全面补课”高效。大模型训练中的优化，同样遵循这个逻辑。

基于学科分组分析得到的盲区清单，优化策略的第一个抓手是弱科样本加权：在训练或微调时，提高数学或法律等薄弱学科样本的采样权重，让模型在这些题目上见到更多高质量样例。第二个抓手是盲区语料补充：针对薄弱领域采集更多语料——比如补充法律条文、案例判决和法学期刊，增强模型在专业领域的知识密度。

第三个抓手是建立评测驱动迭代的闭环：每次训练后重新跑 MMLU 学科分组分析，对比前后各学科组的分数变化，看盲区是否缩小、优势是否被破坏。用公式来说，就是在损失函数上做文章：给不同学科组的损失赋予不同权重，盲区学科的权重更高，引导优化器把注意力集中到弱项上。

$$\displaystyle L = \frac{1}{K}\sum_{g=1}^{K} \omega_g \cdot L_g$$

1. 计算各学科组损失：模型在学科组 g 上的预测损失记为 L_g，该值越大说明模型在该组越不擅长。

$$\displaystyle L_g = -\frac{1}{|D_g|}\sum_{i \in D_g} \log p(y_i \mid x_i)$$

2. 乘以学科权重：学科组 g 的权重 ω_g 由盲区程度决定，越薄弱权重越高。

$$\displaystyle \omega_g \propto \max(\text{Gap}_g, \epsilon)$$

3. 加权汇总平均：将各组加权损失求和再做平均，得到整体训练目标，让模型优先学习薄弱学科。

$$\displaystyle L = \frac{1}{K}\sum_{g=1}^{K} \omega_g \cdot L_g$$

从评测到盲区定位，再到数据补充和权重调整，最后回到评测——这条闭环让大模型的优化不再是盲人摸象。就像班主任的补习计划，每一次月考都检验补习效果，然后调整下一轮计划，学科分组分析就是这条闭环上精确的“体检仪”。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""MMLU 学科分组分析示例输入: (学科名, 是否正确) 的样本列表输出: 总体准确率、各学科准确率、知识盲区清单"""from collections import defaultdict  def group_by_subject(samples):    groups = defaultdict(list)    for subj, correct in samples:        groups[subj].append(1 if correct else 0)    return groups  def compute_accuracy(groups):    total = sum(sum(hits) for hits in groups.values())    count = sum(len(hits) for hits in groups.values())    return total / count if count else 0.0  def subject_scores(groups):    return {subj: sum(hits) / len(hits) for subj, hits in groups.items()}  def find_weak_subjects(scores, overall, threshold=0.1):    gaps = {subj: overall - acc for subj, acc in scores.items()}    weak = [s for s, g in gaps.items() if g > threshold]    return gaps, weak  def main():    samples = [        ("STEM", True), ("STEM", True), ("STEM", False),        ("humanities", True), ("humanities", False),        ("social", False), ("social", False),        ("law", False), ("law", False), ("law", True),        ("medicine", True), ("medicine", True),        ("math", False), ("math", False), ("math", False),        ("business", True), ("business", True),    ]    groups = group_by_subject(samples)    overall_acc = compute_accuracy(groups)    scores = subject_scores(groups)    gaps, weak = find_weak_subjects(scores, overall_acc)    print("总体准确率: {:.2%}".format(overall_acc))    for subj in sorted(scores):        flag = " <== 盲区" if subj in weak else ""        print("  {:<12} {:.2%}  gap={:+.2%}{}"              .format(subj, scores[subj], gaps[subj], flag))  if __name__ == "__main__":    main()

1. groups = group_by_subject(samples)按学科名把样本分入不同桶，为分组统计做准备。
2. return total / count if count else 0.0用答对总数除以总题数得到总体准确率，避免除零错误。
3. acc = sum(hits) / len(hits)每个学科组内部求平均，得到该学科准确率。
4. gaps = {subj: overall - acc for subj, acc in scores.items()}计算总体平均与各学科得分的差距，差距为正表示低于平均。
5. weak = [s for s, g in gaps.items() if g > threshold]差距超过阈值（默认 10%）的学科被标记为知识盲区。

常见误区

面试题