可信大模型评测与红队测试：MMLU、MATH、HumanEval 能力与安全联合评测

可视化演示

展示MMLU多任务知识评测、HumanEval代码生成pass@k及安全风险维度分类三种核心评测基准。

评测整体框架：一张综合素质成绩单

招生办的墙上永远贴着一张“综合素质成绩单”：左边是各科分数，右边是品行评价，任何一栏缺失，评审老师都会皱眉头。对 AI 模型的评测也是这样——过去大家只盯着“答题正确率”，现在越来越多人意识到，一个能写出漂亮代码的模型，也可能被人三言两语“骗”出有害答案。所以评测的第一步不是急着出题，而是先把成绩单的栏目定义清楚：测什么、用什么测、怎么测。

这张“成绩单”在专业术语里叫作评测框架（Evaluation Framework）。它回答三个问题：评测目标是什么——能力还是安全；用什么基准测试——MMLU、MATH、HumanEval 还是安全红队；评测流水线怎么组织——能否把能力与安全放在同一条管道里高效运行。能力评测回答“模型聪明到什么程度”，安全评测回答“模型能不能被放心使用”，两者缺一不可。

在实际操作中，评测流水线通常包含四个环节：定义任务目标、选择匹配的基准测试、在受控环境中批量跑题、汇总并加权生成总报告。最常见的做法是把三个能力基准与安全红队测试封装成同一套模型接口，依次注入提示，最后输出一份“能力 + 安全”的联合报告，避免各测各的、互不背书。

这张成绩单上哪一科最重要并没有标准答案，但栏目必须齐全：缺了安全评测，就像招生只看分数不看品德，迟早会出乱子。接下来我们逐一认识三个能力考场和一个安全考场。

MMLU 知识理解：横跨 57 个学科的文理综合卷

入学考试的第一卷是“文理综合卷”，语数外、史地生、理化政全在一张卷子上。MMLU 就是 AI 界的这张综合卷——它是 Massive Multitask Language Understanding（大规模多任务语言理解）的缩写，覆盖 57 个学科的知识问答，堪称“AI 版文理综”。

这张卷子不考现场推理，考的是知识面。题目以四选一的单选题形式呈现，涵盖人文、社科、STEM 与各类专业领域。模型就像一个没带任何参考资料的考生，拿到提示后必须凭预训练阶段“记住”的知识直接作答——这就是零样本（zero-shot）评估：不给示例、不给微调，考的就是模型的“底子”。

因为覆盖面极广，MMLU 是衡量模型通识能力的标尺。一个模型在 MMLU 上刷到高分，说明它“博闻强识”，但这只证明知识储备丰富，不等于会做数学竞赛题，更不等于写代码靠谱。就像综合卷满分的考生，奥数可能不及格，机考也可能手忙脚乱。

综合卷拿了高分，招生办会在成绩单的“知识面”一栏画上一颗星，但也只在这一栏画星——接下来还有一场数学加试等着呢。

MATH 数学推理：一步错、步步错的奥数加试

综合卷之外，还有一场数学奥赛级别的加试。MATH 基准测试收集了美国高中数学竞赛（如 AMC、AIME）级别的题目，包含约 5000 道题，每道题都需要分步推导、符号演算和严谨的逻辑推理。这就像招生办单独拉一场奥数，专门考察考生“剥洋葱”式的思考能力。

为什么要单独考数学？因为数学推理最能暴露模型的“单步可靠性”。解答一道数学题往往要经历提取条件、设定方程、化简计算、验证答案等多个步骤，而语言模型的每一次生成都带有随机的出错概率。第一步错，后面全盘演算都白费——这是模型的“阿喀琉斯之踵”。英语或常识题可以“蒙”对，数学题却几乎无法靠运气蒙对整条推理链。

评测时，MATH 会为每道题提供标准答案与解答过程。研究者不仅看最终答案，还会观察模型是否生成合理的中间推理链。题库按主题与难度分层，涵盖代数、几何、数论、概率等子领域，让分数能细致反映模型在不同数学分支上的强弱。

数学加试的分数揭示了“单科优秀不等于全科优秀”的真相：一个 MMLU 高分模型很可能在 MATH 上折戟沉沙。正因为如此，招生办还要为它安排第三场考试——上机编程。

HumanEval 代码生成：当场写函数、机器自动判卷的机考

第三场考试是上机编程。HumanEval 是 OpenAI 发布的代码生成评测集，包含 164 道手写的函数级编程题。每道题给出函数签名、文档字符串（docstring）与若干单元测试用例，要求模型补全函数体。这就像招生办的电脑房里坐着一排考生，面对一套“补全代码并当场跑测试”的机考系统。

代码评测的特别之处在于判卷方式：机器自动运行单元测试，不靠人眼评估。模型生成代码后，评测系统把代码塞进测试用例里跑一遍，全部通过才算答对。由于大模型生成代码有随机性，同一个提示词可能产出不同代码，因此需要 pass@k 指标来衡量：让模型一次生成 k 个候选答案，只要其中有任意一个通过单元测试，这道题就算做对。

pass@k 的数学定义来自组合计数。设模型生成了 n 个候选样本，其中有 c 个能通过测试，那么对任意 k，全部 k 个候选都不通过测试的概率，等于从 n−c 个失败样本中选出 k 个的组合数，除以从 n 个样本中选出 k 个的组合数。用 1 减去这个比例，就是至少有一个候选通过的 pass@k。

机考分数漂亮，说明模型动手能力强。但招生办的考查还远没结束——真正让录取委员会头疼的，是那场有些“不近人情”的心理与品德评估。

安全红队测试：专门设局“找茬”的坏考官

前三场考试都在回答“模型会不会做题”，而红队测试回答的是一个更尖锐的问题：“模型会不会作恶？”红队（Red Team）一词借自军事演习，指专门扮演假想敌的团队。在 AI 评测中，红队成员像一群“坏考官”，想方设法用越狱提示、恶意指令、隐私探测等手段，诱导模型输出有害内容。

想象招生办请来几位心理学专家，专门扮演“激怒型考官”：他们故意挑衅、设套、诱导，观察考生在压力下是否会失态、会不会泄露不该说的话。红队测试的本质就是这种主动对抗——不是检查模型“有没有安装过滤器”，而是主动发起攻击，看模型能不能顶住压力守住防线。

红队测试产出的核心指标是攻击成功率（Attack Success Rate, ASR）：统计攻击次数中模型“失守”的比例。评测维度包括有害内容生成（暴力、歧视等）、越狱行为（绕过安全对齐机制）、隐私信息泄露、角色误导等。ASR 越低，说明模型的防线越稳固，越值得信赖。

心理评估不过关的“天才考生”，招生办会毫不犹豫地把档案放进待定区。能力与安全两条线，至此已经在成绩单上聚齐——最后一步，就是招生委员会开会商量权重、划定录取线。

联合评测策略：录取委员会怎么定权重、划红线

招生委员会的会议室里，各科老师、心理专家和校长围坐一圈。数学老师希望数学占 50% 权重，心理专家则坚持品行评估必须有一票否决权。吵到最后，大家达成共识：综合成绩由各科加权求和，但品行分不达标，直接淘汰。联合评测策略的制定，就是这场会议。

把能力基准与安全评测联合运行，不是简单地“先跑能力、再跑安全、最后贴个报告”，而是设计一条共享的评测流水线：模型服务统一封装，能力测试与安全测试交替注入提示，结果汇总到同一张联合评分表。这样做既节省评测成本，又能避免“能力与安全各自为政、互不背书”的尴尬。

权重分配是联合评测中最容易起争议的环节。常用的策略有三种：等权策略（能力与安全各占一半）、安全优先策略（提高安全权重，甚至设置安全阈值一票否决）、场景定制策略（低风险场景重能力，高风险场景重安全）。最终总分通过“能力加权得分 × 能力权重 + 安全得分 × 安全权重”得到，再与部署阈值对比，决定模型能否上线。

会议结束，录取名单贴上墙：能力与安全两张表，权重清清楚楚，坏分子被一票否决挡在门外。这就是可信大模型评测的全貌——用一场“综合素质招生考试”，守住 AI 进入真实世界前的最后一道门。

AI 应用场景

Python 演示

"""可信大模型能力与安全联合评测模拟"""import random  class JointEvaluator:    """模拟联合评测流水线: 能力基准 + 安全红队测试"""     def __init__(self, model_acc: float, safety_level: float):        self.model_acc = model_acc          # 模型平均正确率 (0-1)        self.safety_level = safety_level    # 模型安全抵抗水平 (0-1)        self.results = {}                   # 评测报告        self.gc_count = 0                   # 评测运行次数     def eval_mmlu(self, n: int = 100) -> float:        """模拟 MMLU: 四选一通识知识测试"""        correct = sum(1 for _ in range(n)                      if random.random() < self.model_acc)        return correct / n     def eval_math(self, n: int = 50) -> float:        """模拟 MATH: 每题需要 5 步推理, 任一步出错即失败"""        correct = 0        for _ in range(n):            step_ok = True            for _ in range(5):                if random.random() > self.model_acc * 0.9:                    step_ok = False                    break            if step_ok:                correct += 1        return correct / n     def eval_human_eval(self, n: int = 20, k: int = 3) -> float:        """模拟 HumanEval: 生成 k 个候选中任一通过单元测试即算对"""        passed = 0        for _ in range(n):            if any(random.random() < self.model_acc * 0.8                   for _ in range(k)):                passed += 1        return passed / n     def eval_safety(self, attacks: int = 30) -> float:        """模拟红队测试: 返回安全得分 (1 - 攻击成功率)"""        defended = 0        for _ in range(attacks):            if random.random() < self.safety_level:                defended += 1        return defended / attacks     def run(self, weights: dict) -> dict:        """联合运行全部评测, 按权重汇总总分"""        self.gc_count += 1        mmlu = self.eval_mmlu()        math_score = self.eval_math()        code = self.eval_human_eval()        safe = self.eval_safety()        cap = (weights["mmlu"] * mmlu +               weights["math"] * math_score +               weights["code"] * code)        total = weights["cap"] * cap + weights["safety"] * safe        self.results = {            "MMLU": mmlu,            "MATH": math_score,            "HumanEval": code,            "Safety": safe,            "Total": total,        }        return self.results  if __name__ == "__main__":    random.seed(42)    evaluator = JointEvaluator(model_acc=0.75, safety_level=0.92)    report = evaluator.run({        "mmlu": 0.4, "math": 0.3, "code": 0.3,        "cap": 0.7, "safety": 0.3,    })    for name, score in report.items():        print(f"{name:10s}: {score:.1%}")

1. class JointEvaluator:定义一个“评测中心”类，把四个考场（三个能力基准 + 一个安全红队）封装在一起，相当于招生办的统一考试系统。
2. def eval_math(self, n: int = 50) -> float:模拟 MATH 的多步推理：5 步中任一步出错整题失败，直观体现“一步错、步步错”的错误累积。
3. def eval_human_eval(self, n: int = 20, k: int = 3) -> float:模拟 pass@k 规则：一次生成 k 个候选，只要有 1 个通过就算过，体现“机考自动判卷”的宽松口径。
4. def eval_safety(self, attacks: int = 30) -> float:模拟红队攻击：返回安全得分，等价于 1 减去攻击成功率 ASR，是联合报告中的安全栏。
5. total = weights["cap"] * cap + weights["safety"] * safe权重组合：能力分和安全分按权重相加得到最终总分，对应联合评测的加权求和策略。
6. random.seed(42)固定随机种子，让评测结果可复现。真实评测中同样要求可复现性，否则报告无法被审计。
7. report = evaluator.run({...})一次调用跑完整条联合流水线，输出完整成绩单，这与生产环境的“一键评测”思路一致。

常见误区

面试题