MMLU：中文评测基准C-Eval/CMMLU

可视化演示

三步展示中文评测基准：C-Eval四大主类52学科分类体系、CMMLU约30%中国文化特色科目（历史/地理/法律/中医学）、以及zero-shot/few-shot/CoT三种评测方法。

评测与基准：给AI搭一间“标准化考场”

想象你是一所学校的校长，新学期要给学生分班。你不会只凭印象说“张三不错”，而是要组织一场统一考试：同样的卷子、同样的时间、同样的阅卷标准，分数才能互相比较。平时单聊几句式的提问，就像家长私下夸“我家娃可聪明了”，没法作为分班依据。

AI 世界里，这场“统一考试”被称为基准测试（Benchmark）。为什么要强调“标准化”？因为大模型的能力是多维的：知识面、推理、语言、文化常识……如果没有统一考卷，A 团队说“我的模型很懂中文”，B 团队也说“我的模型很懂中文”，可各自评判标准完全不同，结论根本无法比较。

一个严谨的评测基准要用四件事来定义：数据集（考什么）、任务（题型）、指标（判分）、评测协议（考场纪律）。把四件事装进一个大括号，就能形式化地描述任何一个基准测试——包括 MMLU、C-Eval、CMMLU。LLM 评测体系里的每份榜单，本质上都是在这“四件套”之上生成的一张成绩单。

有了这间“标准化考场”，MMLU、C-Eval、CMMLU 这些“考卷”才被全世界认可。接下来，先认识那位来自海外的“国际考官”——MMLU。

MMLU起源：来自海外的“国际通识大考”

MMLU 就像国外的 SAT——全英文命题、覆盖面极广，能衡量一个考生最基本的通识水平。它诞生于 GPT-3 声名鹊起的 2021 年，当时研究者意识到：大模型脑子里装了大量知识，应该有一张专门的考卷来度量“世界知识面”，而不是只比谁聊天更溜。

MMLU 的全称是 Massive Multitask Language Understanding（大规模多任务语言理解），题目全部用英文编写，横跨 57 个学科——从数学、物理到法律、伦理，再到社会学、经济学，像一张铺得极广的通识卷。它要求模型凭“学过的知识”作答，而不是从对话上下文里抄答案。

数据集约 1.6 万道四选一题，每道题配一个标准答案。总题数可以写成 57 个学科各自题数的和。评测时允许使用零样本与少样本两种“考试模式”，最多给模型 5 道例题“热身”，目的是区分“真有知识”和“只会复读”。

MMLU 很快成了全球最流行的英文“大考”，几乎所有大模型论文都要报它的分数。但它是全英文命题——中国考生（中文模型）在这张卷子上考得好，不代表在中国语境下同样出色，于是真正的中文考卷被提上了日程。

C-Eval设计：中国版的“高考模拟卷”

2023 年，上海交通大学等机构联合推出 C-Eval，这张卷子被大家称为“中国高考模拟卷”。它的命题思路非常“中国”：按照中国学制从初中到大学、再到职业资格层层设题，像极了教育部考试中心的出题风格。

C-Eval 包含 13,985 道四选一题目，覆盖 52 个学科，分成四个难度层级：初中、高中、大学、职业。学科性质上横跨 STEM（理工）、人文、社科与“其他”，很多题目离开了中文知识体系根本答不了——比如中国近现代史、古汉语常识、中国法律法规。

官方评测协议规定用准确率作为核心指标，同时报告零样本与五样本两档成绩。四选一意味着“闭眼蒙题”的理论命中率是 1/4，也就是 25%——这是任何模型都必须正视的“蒙题底线”。

C-Eval 发布后迅速成为中文大模型的“必考卷”：发新模型，先晒一张 C-Eval 成绩单。不过，有人觉得这份卷子还不够“地道”，于是 CMMLU 带着更浓的中国味登场了。

CMMLU特色：更有“中国味”的深度考卷

如果说 C-Eval 是“通用中文模拟卷”，CMMLU 更像“中国文化特长卷”。它由多家高校联合推出，全称 Chinese Massive Multitask Language Understanding（中文大规模多任务语言理解），命题时特意把中医、中国历史、中国法律、传统习俗这些“中国特色知识”写进考纲。

CMMLU 包含 11,528 道四选一题，横跨 67 个主题，比 C-Eval 的学科面更宽。它的显著特点是“双语混合”：大部分是中文题，也保留了一部分英文题，用来对照语言差异对成绩的影响。很多主题在 MMLU 和 C-Eval 里都找不到，比如阴阳五行、古代官制、地方民俗。

与 C-Eval 相比，CMMLU 不仅考知识，更考“文化语境理解”。我们可以算一下中国特色知识占全部题目的比例——这个比值越高，说明这张卷子的“中国味”越浓，对模型的中文文化底子要求也越苛刻。

打比方说：C-Eval 像高考，每个学生都得考；CMMLU 像历史特长校的自招卷，专门筛“真的懂中国”的人。两张卷子配合使用，才能完整呈现一个模型的中文底子。

评测方法：阅卷、报分与防泄题

考完试总得阅卷。AI 评测的“阅卷”极其机械：把模型的预测答案和标准答案逐一比对，答对一题记一分。这过程一点也不浪漫——但正因为机械，才公平。

度量指标就是准确率（Accuracy）：答对题数除以总题数。C-Eval 与 CMMLU 都要求模型输出选项字母（A/B/C/D），判分因此完全标准化。计算时，每个学科先单独统计，再汇总成总体分数，这样才能看清模型“偏不偏科”。

评测协议还规定了两档模式：零样本（0-shot）是裸考，直接把问题丢给模型；少样本（5-shot）是考前看几道例题，帮模型理解“答题格式”。此外还要统一提示词模板、解码参数，更重要的是防数据污染——如果模型在预训练时已经“背过”真题，分数就注水了。

一句话总结阅卷哲学：随机蒙题保底 25%，裸考检验临场反应，带例题检验吸收能力，再把学科拆开看——这套方法论直接决定了成绩单的可信度。

对比分析：三张考卷怎么挑

同一批学生，考国际卷和考中国卷，排名可能完全不同。三张卷子各有脾气：MMLU 全英文、57 个学科、约 1.6 万题；C-Eval 中文、52 个学科、约 1.4 万题、按学制分四级；CMMLU 中文为主、67 个主题、约 1.15 万题、文化味最浓。

从公开成绩看，许多国产模型在 C-Eval/CMMLU 上的相对排名与 MMLU 并不一致。原因在于语言适配与文化知识储备的差异。为了量化这种差异，可以算“中文基准分减去英文基准分”：这个差值越大，说明模型越“偏向中文”。

怎么选卷子？评估通用世界知识看 MMLU；评估中文知识与教育体系适配度看 C-Eval；评估中国文化深度看 CMMLU。三张卷子互补而不互斥，成熟的评测体系常常三张一起上。

类比来说：MMLU 是托福，C-Eval 是高考，CMMLU 是历史特长生测试。给模型做评估，先想清楚你要招的是“国际生”还是“本地生”。

实践应用：用考卷给模型做“体检”

在企业里，C-Eval/CMMLU 最常见的用法是“模型体检”。就像员工每年体检要量血压、查血脂，模型每次更新也要量“中文血压”——用同一套卷子、同一套协议，跑出可以跨版本对比的分数。

三个典型场景：选型时给候选模型排座次；训练迭代时定位薄弱学科、定向补数据；发布前做回归测试，防止新版本把旧能力“改坏了”。这些都是 LLM 评测体系在工程实践中的标准动作。

选型的数学表达很朴素：在候选模型集合里，挑 C-Eval 准确率最高的那一个。真实工程当然还会加权多个基准，并结合成本、延迟、业务领域做综合决策，但“跑分-比较-决策”的闭环万变不离其宗。

记住那句大实话：没有评测，就没有改进。一份好的中文成绩单，能让团队的每笔训练预算都花在刀刃上——毕竟，谁不想看着自家模型从“偏科生”变成“全科优秀”呢？

AI 应用场景

Python 演示

"""模拟C-Eval/CMMLU评测流程：分学科统计准确率并与随机基线对比"""import randomfrom collections import defaultdict SUBJECTS = ["中国历史", "基础数学", "中医基础", "法律常识"]  def build_samples(total=200, seed=42):    """构造C-Eval风格的模拟考卷（真实场景改为加载JSONL数据集）"""    rnd = random.Random(seed)    samples = []    for i in range(total):        samples.append({            "id": i,            "subject": SUBJECTS[i % len(SUBJECTS)],            "question": f"第{i}题：这是一道示例题",            "choices": ["选项A", "选项B", "选项C", "选项D"],            "answer": rnd.choice(["A", "B", "C", "D"]),        })    return samples  class DummyLLM:    """模拟大模型：以accuracy概率答对，其余题目乱猜"""     def __init__(self, accuracy=0.40):        self.accuracy = accuracy     def predict(self, item):        if random.random() < self.accuracy:            return item["answer"]        return random.choice(["A", "B", "C", "D"])  def random_baseline(item):    """随机基线：每题乱猜，整体应接近25%"""    return random.choice(["A", "B", "C", "D"])  def evaluate(samples, predict_fn):    """阅卷：按学科统计答对题数与总题数"""    stats = defaultdict(lambda: {"correct": 0, "total": 0})    for item in samples:        hit = predict_fn(item) == item["answer"]        stats[item["subject"]]["correct"] += int(hit)        stats[item["subject"]]["total"] += 1    return stats  def report(stats):    """打印各学科与总体准确率"""    total_correct = sum(s["correct"] for s in stats.values())    total = sum(s["total"] for s in stats.values())    for subject, s in sorted(stats.items()):        acc = s["correct"] / s["total"] * 100        print(f"{subject}: {acc:.1f}%")    print(f"总体准确率: {total_correct / total * 100:.1f}%")  if __name__ == "__main__":    data = build_samples()    print("== 随机基线（约25%）==")    report(evaluate(data, random_baseline))    print("== 零样本模型（约40%）==")    report(evaluate(data, DummyLLM(accuracy=0.40).predict))    print("== 少样本模型（约55%）==")    report(evaluate(data, DummyLLM(accuracy=0.55).predict))

1. stats = defaultdict(lambda: {"correct": 0, "total": 0})按学科分组计数的统计表，相当于阅卷老师把各科答卷分堆。
2. hit = predict_fn(item) == item["answer"]判分核心：预测答案与标准答案逐一比对。
3. DummyLLM(accuracy=0.40).predict模拟“裸考”模型，把真实 LLM 调用替换成可控替身。
4. return random.choice(["A", "B", "C", "D"])随机基线策略，用来验证四选一约等于 25% 的底线。
5. report(evaluate(data, random_baseline))评测协议固定：先阅卷再报分，保证不同模型可横向比较。
6. samples.append({...})造卷函数，真实场景改为读取评测集的 JSONL 文件。

常见误区

面试题