想象你是驾校考官。科目二原本只有三条固定考试路线，学员把每个弯道、每个停车位都背得滚瓜烂熟，考试一把通过。可你突然把路线扩到四十条，还随机加入雨天路滑、坡道起步、突然窜出的电瓶车——绝大多数学员当场露馅，及格率暴跌。这就是 HumanEval+ 给大模型设置的“考场突变”。 HumanEval 是业界最常用的代码生成评测集：给大模型一个函数签名和一段功能描述，让它写出能通过单元测试的代码。但原版每道题平均只有 7.7 个测试用例，路线太少，模型背几个样例就能蒙混过关。HumanEval+ 把测试用例扩充到每道题 50 个以上，覆盖空输入、超大数值、极端边界等“魔鬼路况”，并配合 pass@k 无偏估计、数据污染检测、沙箱隔离等协议，把“真会写代码”和“碰巧背过题”的模型区分开来。

岗位关联

掌握 HumanEval+ 评测方法论与 pass@k 无偏估计，你就能看穿大模型代码能力的“应试水分”，为模型选型、发布门禁与学术结论提供可信依据——这是 LLM 评测工程师的核心竞争力。

目录
  1. 可视化演示
  2. 原版回顾：绕不开的 164 道题
  3. 用例扩充：从 3 条路线到 40 条路况
  4. 难度提升：换考场后集体掉分的真相
  5. pass@k 指标：给你 k 次补考机会
  6. 欺骗性代码：背路线的应试型司机
  7. 数据污染：教练偷偷发答案
  8. 评测协议：正规考场的规矩
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示代码生成评测pass@k指标计算全流程：从问题描述、多采样生成、测试用例执行到最终评分，对比HumanEval与HumanEval+的差异。

本节配有交互动效（进入视口后自动加载，约 3KB）。

问题输入阶段 从评测数据集选取编程问题，包含函数签名、文档字符串与测试用例 pass@k = 1 - C(n-c,k)/C(n,k) 评测流程启动，准备进行多采样代码生成。

原版回顾：绕不开的 164 道题

驾校的科目二为什么好考？因为只有三条固定路线，每条路线上有几个弯、几个停车位都写在教案里。学员不用真正会开车，把路线背下来就能过关。这就是原版 HumanEval 的真实面貌——它是一套“固定路线”式的评测：题目太少、路况太单一。

HumanEval 是 OpenAI 在 2021 年提出的代码生成评测集。它找来 164 道手写的 Python 编程题，每一道题给模型一个函数签名和一段自然语言的功能描述（包含示例输入输出），要求模型补全函数体，然后用预先写好的单元测试判断对错。模型不需要写完整程序，只需要“会填函数”。

每道题平均只带 7.7 个测试用例，覆盖的输入极其有限。比如求斐波那契数列的题，测试可能只查了 n=0,1,5,10 这几个值，根本不查负数、不查超大 n、不查 n 不是整数的情况。这样的考卷，模型只要在训练数据里见过类似写法，就能轻松拿下高分。

回看驾校比喻：因为固定路线只有三条，考官根本看不到学员在陌生路况下的真实车技。原版 HumanEval 的 7.7 个测试，就是那三条固定路线——它考不出“会不会开车”，只考出“背没背过路线”。

DHumanEval={(si, di, Ti)}i=1164\displaystyle D_{\mathrm{HumanEval}} = \{ (s_i,\ d_i,\ T_i) \}_{i=1}^{164}
这个记号把每道题看作一个三元组：函数签名 $s_i$、文档字符串 $d_i$、测试集合 $T_i$，一共 164 道。
  1. 三元组含义$s_i$ 是第 $i$ 道题的函数签名定义，$d_i$ 是功能描述，$T_i$ 是本题的测试用例集合
    (si, di, Ti)(s_i,\ d_i,\ T_i)
  2. 签名与描述$s_i$ 给出函数名与参数列表，$d_i$ 用自然语言说明函数要做什么
    si:def f(params) ← di:"""功能描述与示例"""s_i: \mathrm{def}\ f(\mathrm{params}) \ \leftarrow \ d_i: """\text{功能描述与示例}"""
  3. 测试集合$T_i$ 包含若干组输入输出对，用于自动判定代码是否正确
    Ti={ti,1, ti,2, … }T_i = \{ t_{i,1},\ t_{i,2},\ \dots \}
  4. 总题数下标 $i$ 从 1 取到 164，构成评测集的全部规模
    1≤i≤1641 \le i \le 164

用例扩充：从 3 条路线到 40 条路况

一位认真负责的考官决定改革：科目二的路线从 3 条扩到 40 条，还随机加入雨天、坡道、夜间会车、电瓶车突然窜出等“魔鬼路况”。同一批学员的成绩立刻分化。这就是 HumanEval+ 的诞生逻辑。

2023 年，EvalPlus 团队发表论文《Is Your Code Generated by ChatGPT Really Correct?》，发布了 HumanEval+。它不篡改原题，而是大幅扩充每道题的测试用例：用自动化的方式系统性地探索函数的输入空间，生成大量包括边界条件在内的新测试，再经过人工校验去除错误或重复的用例。

扩充的结果非常震撼：原版每题平均 7.7 个测试，HumanEval+ 每题平均超过 50 个，测试总量约为原版的 7.8 倍。空列表、超大整数、重复元素、负数、极长字符串等“魔鬼输入”统统登场。原本靠背路线蒙混过关的模型，在这里开始大面积翻车。

驾校考官把 3 条路线扩成 40 条随机路况，学员就再也没法“背路线过关”了。HumanEval+ 干的正是同一件事：用 7.8 倍的测试用例，把应试型模型的遮羞布一把扯下。

∣Ti+∣‾∣Ti∣‾≈7.8,∣Ti+∣‾≈50\displaystyle \frac{\overline{|T_i^{\mathrm{+}}|}}{\overline{|T_i|}} \approx 7.8, \qquad \overline{|T_i^{\mathrm{+}}|} \approx 50
这个式子说明 HumanEval+ 把每道题的平均测试用例数从约 7.7 个抬升到 50 个以上，总量约是原版的 7.8 倍。
  1. 原版均值$\overline{|T_i|}$ 表示对所有题目求平均后的测试用例数，原版约 7.7
    ∣Ti∣‾≈7.7\overline{|T_i|} \approx 7.7
  2. 增强版均值$\overline{|T_i^{\mathrm{+}}|}$ 是 HumanEval+ 每题平均测试数，超过 50
    ∣Ti+∣‾≈50\overline{|T_i^{\mathrm{+}}|} \approx 50
  3. 扩增倍数两者相除约得 7.8，即新增后的测试总量约为原版 7.8 倍
    ∣Ti+∣‾∣Ti∣‾≈507.7≈7.8\frac{\overline{|T_i^{\mathrm{+}}|}}{\overline{|T_i|}} \approx \frac{50}{7.7} \approx 7.8

难度提升：换考场后集体掉分的真相

路线一变，整班学员的及格率暴跌。ChatGPT 在 HumanEval 原版上 pass@1 能到 65% 以上，换到 HumanEval+ 后直接掉到 50% 甚至更低；许多开源模型的落差更是超过 30 个百分点。这不是模型变笨了，而是考卷终于考出了真实水平。

为什么原版分数普遍虚高？因为每道题只有 7.7 个测试，模型生成代码时只要“猜中”这几个测试的行为就能得分。它可能根本没有理解算法，只是记住了训练集中相似题目的套路——这叫做“样例过拟合”。而过拟合的代码，一遇到边界输入就崩溃。

HumanEval+ 的难度提升不在于题目本身的题型变化，而在于判分标准的严苛：新增的 40 多个测试覆盖了空输入、越界、溢出、极端规模等边界情况。一个连空数组都不处理的函数，在原版可能满分通过，在 HumanEval+ 直接判错。模型之间被迅速拉开档次——虚高者现形，扎实者幸存。

学员在固定路线上考 95 分，换到随机路况只剩 70 分，这 25 分的落差就是“背题水分”。评测代码生成模型时，只看原版分数就像只看固定路线成绩——必须把 HumanEval+ 的分数一起摆出来，水分才藏不住。

Gap=pass@1HE−pass@1HE+,0.10≤Gap≤0.30\displaystyle \mathrm{Gap} = \mathrm{pass}@1_{\mathrm{HE}} - \mathrm{pass}@1_{\mathrm{HE+}}, \qquad 0.10 \le \mathrm{Gap} \le 0.30
Gap 表示同一模型在原版与增强版上的通过率落差，主流模型普遍掉 10~30 个百分点。落差越小，说明模型的代码能力越真实。
  1. 原版通过率$\mathrm{pass}@1_{\mathrm{HE}}$ 是模型在 HumanEval 上的单次采样通过率
    pass@1HE=N原版通过N原版总数\mathrm{pass}@1_{\mathrm{HE}} = \frac{N_{\text{原版通过}}}{N_{\text{原版总数}}}
  2. 增强版通过率$\mathrm{pass}@1_{\mathrm{HE+}}$ 是同一模型在 HumanEval+ 上的单次采样通过率
    pass@1HE+=N增强版通过N增强版总数\mathrm{pass}@1_{\mathrm{HE+}} = \frac{N_{\text{增强版通过}}}{N_{\text{增强版总数}}}
  3. 落差定义两者相减就是“换考场后丢的分”，刻画虚假高分的程度
    Gap=pass@1HE−pass@1HE+\mathrm{Gap} = \mathrm{pass}@1_{\mathrm{HE}} - \mathrm{pass}@1_{\mathrm{HE+}}
  4. 经验区间主流模型的落差通常在 10 到 30 个百分点之间，越大越说明在背题
    0.10≤Gap≤0.300.10 \le \mathrm{Gap} \le 0.30

pass@k 指标：给你 k 次补考机会

驾考有个补考机制：考试当天你最多可以考 k 次，任何一次通过就算通过。这不代表你车技完美，但概率上，“至少过一场”比“只考一场就过”要容易得多。pass@k 把这种“补考思维”变成了一个严谨的数学指标。

具体做法是：针对同一个问题，让模型采样 n 个不同的候选解（通常通过调整解码温度实现多样性），每个解独立运行全部测试判分。只要这 n 个解里至少有 1 个通过全部测试，这个问题的"pass@k"事件就发生了。评测时通常报告 pass@1（一次机会的表现）和 pass@10（十次机会的表现）。

但是，直接用“采样 n 个中正确的比例 c/n”去套朴素概率公式 $1-(1-p)^k$ 会系统性地低估真实值，因为 n 是有限的。正确做法是使用组合数的无偏估计公式：先算出“随机挑 k 个解全是错误解”的概率，再用 1 减去它。这也解释了为什么 pass@10 总是明显高于 pass@1——机会多了，自然更容易“蒙对一次”。

补考次数越多，通过的把握越大。理解了 pass@k 的无偏估计，你就不会再被“采样 10 次过 2 次所以 pass@1=0.2”这种粗暴算法误导——补考机制的数学美感，藏在组合数里。

pass@k=1−(n−ck)(nk),c=正确解个数\displaystyle \mathrm{pass}@k = 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}, \qquad c = \text{正确解个数}
pass@k 的无偏估计：从 n 个采样解中任选 k 个，至少有一个正确解的概率。c 是 n 个解里真正通过全部测试的个数。
  1. 组合数定义$\binom{n}{k}$ 表示从 n 个不同元素中任选 k 个的组合数
    (nk)=n!k!(n−k)!\binom{n}{k} = \frac{n!}{k!(n-k)!}
  2. 错误解数量$c$ 个正确解之外，$n-c$ 就是错误解的个数
    n−c=错误解个数n-c = \text{错误解个数}
  3. 全失败情形$\binom{n-c}{k}$ 是“挑出的 k 个恰好全是错误解”的选法数，这是坏情况
    (n−ck)=选法全部踩雷\binom{n-c}{k} = \text{选法全部踩雷}
  4. 补集换算用 1 减去坏情况占全部选法的比例，就得到至少一次成功的无偏概率
    pass@k=1−(n−ck)(nk)\mathrm{pass}@k = 1 - \frac{\binom{n-c}{k}}{\binom{n}{k}}

欺骗性代码：背路线的应试型司机

驾校里总有一种学员：在固定路线上倒车入库行云流水，一遇到旁边突然有人经过就手忙脚乱。他们不是不会开车，而是只会开“考前模拟的路线”。代码世界里有大量这样的“应试型司机”，学界称之为欺骗性代码。

欺骗性代码的定义很干净：它在原版那些少得可怜的示例测试上全部通过，看起来正确无比，但只要输入稍微超出“背过的范围”——空列表、超大整数、极端长度——立刻崩溃。常见翻车点包括：不处理空输入导致越界访问、整数溢出导致错误结果、暴力算法在超大数据上超时、甚至把示例输入硬编码进函数体。

HumanEval+ 的 7.8 倍测试用例，就是专为抓捕这类欺骗性代码设计的“随机路况”。比如一道“求列表最大值”的题，原版测试可能只给了 [1,3,2]，增强版却会给你 []（空列表）、[-5]（负数）、[1018, 1]（超大数）。不会处理这些边界的代码，当场现出原形。

驾校考官只要把模拟路线换成人来人往的真实路况，应试型司机的“路线记忆”就被瞬间击穿。HumanEval+ 的边界测试，就是那条突如其来的电瓶车。

Deceptive:∀t∈Tsample, P(t)=True∧∃ t′∈Tedge, P(t′)=False\displaystyle \text{Deceptive}: \forall t \in T_{\text{sample}},\ P(t)=\text{True} \quad \wedge \quad \exists\, t' \in T_{\text{edge}},\ P(t')=\text{False}
欺骗性代码的判定：对所有示例测试都通过，但至少存在一个边界测试让代码失败。两个条件同时成立，即构成“应试型”证据。
  1. 示例测试全过$T_{\text{sample}}$ 是原版携带的少量示例测试，$P(t)$ 表示代码在测试 $t$ 上运行通过
    ∀t∈Tsample, P(t)=True\forall t \in T_{\text{sample}},\ P(t)=\text{True}
  2. 边界测试集合$T_{\text{edge}}$ 是 HumanEval+ 新增测试相对原版的补集，即新增的边界用例
    Tedge=THE+∖TsampleT_{\text{edge}} = T_{\text{HE+}} \setminus T_{\text{sample}}
  3. 存在反例符号 $\exists$ 表示“至少存在一个”，即至少有一个边界用例让代码失败
    ∃ t′∈Tedge, P(t′)=False\exists\, t' \in T_{\text{edge}},\ P(t')=\text{False}
  4. 合取关系$\wedge$ 表示两个条件必须同时成立，才构成欺骗性代码的判定
    示例全过∧边界挂科\text{示例全过} \wedge \text{边界挂科}

数据污染：教练偷偷发答案

如果驾校教练在考前偷偷把考试路线图发给学员，学员在训练场上练的全是原题，那考试分数还能代表车技吗？大模型的训练就面临这样的尴尬：HumanEval 是公开数据集，而模型的训练语料来自 GitHub 上的公开代码，两者高度重叠几乎不可避免。

数据污染的后果很直接：模型可能根本没有学会“根据描述写函数”，只是把训练时见过的标准答案“背”了出来。背答案的模型在原版上分数漂亮，一遇到 HumanEval+ 的变体输入就露馅——因为它背的是固定答案，而不是解题能力。更危险的是，这种虚高会误导模型选型和能力判断。

检测数据污染有一套组合拳：把函数名、变量名全部替换后重新评测，看分数是否暴跌；改写 docstring 的措辞但保持语义不变；用私有且未公开的新题进行交叉验证。如果改名换面后分数断崖式下跌，基本可以断定模型在“背课文”而不是“学写作”。负责任的评测报告必须声明污染检测的结果。

教练发答案，学员考满分，考官却以为学员车技超群。数据污染检测就是考官在考前收缴小抄——做评测的人，永远要假设“模型可能见过题”，然后用改名、改描述、私有新题这三道闸门把水分挤干净。

ρcontam=NoverlapNtotal=Noverlap164\displaystyle \rho_{\mathrm{contam}} = \frac{N_{\mathrm{overlap}}}{N_{\mathrm{total}}} = \frac{N_{\mathrm{overlap}}}{164}
污染率 $\rho$ 表示训练语料与评测题标准解高度重叠的题目占比。重叠越多，评测分数越不可信。
  1. 重叠计数$N_{\mathrm{overlap}}$ 是训练语料中与评测题标准解高度重叠的题目数量
    Noverlap=∑i=1164I(soli∈Train)N_{\mathrm{overlap}} = \sum_{i=1}^{164} \mathbb{I}(\mathrm{sol}_i \in \mathrm{Train})
  2. 评测总数$N_{\mathrm{total}}$ 是评测集总题数，HumanEval 为 164
    Ntotal=164N_{\mathrm{total}} = 164
  3. 污染率计算重叠数与总数之比越接近 1，说明模型越可能“看过答案”、分数越虚
    ρcontam=Noverlap164\rho_{\mathrm{contam}} = \frac{N_{\mathrm{overlap}}}{164}

评测协议：正规考场的规矩

一所正规驾校的考场要有监控、有考官、有统一评分标准，否则再严格的路线设计也会被钻空子。代码生成评测同样需要一套“考场规矩”，才能保证分数的可信与可复现。

鲁棒的评测协议至少包含四个要素。第一是沙箱隔离：被评测代码必须在受限环境里执行，防止恶意代码读写文件、访问网络。第二是固定随机种子和温度参数：同样的模型、同样的采样配置必须能复现出同样的分数，否则论文里的数字就是“薛定谔的分数”。第三是同时报告 HumanEval 与 HumanEval+ 两个基准，让虚高的原版分数暴露在对比中。第四是把污染检测作为前置流程。

业界实践中，评测脚本还要统一约定超时上限、内存限制、单题最长运行时间等细节。另一个常用做法是计算“双基准平均分”，把增强版的严苛要求融入最终指标，让只看单一高分就下结论的做法失去依据。

考场有了监控、考官和统一标准，路线升级才能真正筛选出好司机。评测协议就是代码评测的“考场纪律”——制定并遵守它，你给出的每一个分数才配得上“可信”二字。

Scorerobust=12(PassHE+PassHE+)\displaystyle \mathrm{Score}_{\mathrm{robust}} = \frac{1}{2}\left( \mathrm{Pass}_{\mathrm{HE}} + \mathrm{Pass}_{\mathrm{HE+}} \right)
鲁棒分数取原版与增强版通过率的平均值。背路线的模型增强版分数低，平均值立刻被拉低，无处遁形。
  1. 原版分数$\mathrm{Pass}_{\mathrm{HE}}$ 是模型在 HumanEval 上的 pass@1 数值
    PassHE=pass@1HE\mathrm{Pass}_{\mathrm{HE}} = \mathrm{pass}@1_{\mathrm{HE}}
  2. 增强版分数$\mathrm{Pass}_{\mathrm{HE+}}$ 是同一模型在 HumanEval+ 上的 pass@1 数值
    PassHE+=pass@1HE+\mathrm{Pass}_{\mathrm{HE+}} = \mathrm{pass}@1_{\mathrm{HE+}}
  3. 取平均两个分数各占一半权重相加，惩罚那些只会在原版上表演的应试型模型
    Scorerobust=12(PassHE+PassHE+)\mathrm{Score}_{\mathrm{robust}} = \frac{1}{2}\left( \mathrm{Pass}_{\mathrm{HE}} + \mathrm{Pass}_{\mathrm{HE+}} \right)

AI 应用场景

大模型发布门禁：上线前先过“魔鬼路况”

阶段：模型评估与发布门禁

解决的问题：传统流程只看 HumanEval 分数，模型在真实场景中频繁出现空输入崩溃、超大数报错等问题。用 HumanEval+ 作为发布门禁，能在上线前筛掉“背题型”模型。

具体案例：某公司要上线代码补全助手，评测团队发现候选模型在 HumanEval 上 pass@1 高达 76%，但换到 HumanEval+ 只剩 54%。进一步定位发现模型不处理空列表和负数输入。团队据此调整微调数据，迭代两个版本后 HumanEval+ 分数回升到 68%，才放行发布。

模型选型的“试车场”：从接近到分明的对比

阶段：模型选型对比

解决的问题：多个商业模型在 HumanEval 上分数接近，难以抉择；原版测试太少，区分度不足。HumanEval+ 的严苛测试让真实差距显现。

具体案例：某团队对比两款代码模型，原版分数为 78% 与 75%，看似接近；改用 HumanEval+ 后变为 61% 与 44%，差距拉开 17 个百分点。团队选择了实际更鲁棒的模型，上线后边界输入相关故障率下降约 40%。

学术研究的“可信证据”：论文实验的加分项

阶段：论文实验与复现

解决的问题：新方法只在 HumanEval 上提分，可能只是过拟合了固定测试样例，审稿人要求更严谨的泛化性证明。HumanEval+ 与污染检测让实验结论更站得住脚。

具体案例：研究者在代码生成论文中同时报告 HumanEval 与 HumanEval+ 的 pass@1 和 pass@10，并附上变量改名重测的污染检测声明。审稿人认可这种双基准报告，论文实验部分通过率显著提升。

Python 演示

python41 行
# -*- coding: utf-8 -*-"""用无偏估计计算 pass@k, 并模拟原版与增强版评测的落差."""from math import combimport random  def pass_at_k(n, c, k):    """n 个采样中 c 个正确, 计算 pass@k 的无偏估计."""    if n - c < k:        return 1.0    return 1.0 - comb(n - c, k) / comb(n, k)  def evaluate(per_problem_results, k):    """输入 {题名: [是否通过, ...]}, 返回各题 pass@k 的均值."""    scores = {}    for pid, results in per_problem_results.items():        c = sum(1 for r in results if r)        scores[pid] = pass_at_k(len(results), c, k)    return sum(scores.values()) / len(scores)  def simulate():    """模拟原版 90% 通过率, 增强版加入边界反例后通过率下降."""    random.seed(0)    problems = {}    for i in range(5):        problems['prob' + str(i)] = [random.random() < 0.9 for _ in range(10)]    print('HumanEval pass@1: {:.3f}'.format(evaluate(problems, 1)))    for i in range(5):        for j in range(10):            base = random.random() < 0.9            edge = random.random() < 0.4 if base else True            problems['prob' + str(i)][j] = base and edge    print('HumanEval+ pass@1: {:.3f}'.format(evaluate(problems, 1)))    for k in (1, 5, 10):        print('pass@{}: {:.3f}'.format(k, evaluate(problems, k)))  if __name__ == '__main__':    simulate()
目的：实现 pass@k 无偏估计，并模拟“原版全过但增强版掉分”的评测场景，直观展示 HumanEval 与 HumanEval+ 的分数落差。
  1. return 1.0 - comb(n - c, k) / comb(n, k)无偏估计核心公式，用组合数避免有限样本偏差
  2. if n - c < k:错误解都不够 k 个时，怎么选都不会全错，pass@k 必为 1
  3. c = sum(1 for r in results if r)统计每个问题的 n 次采样里有多少个正确解
  4. scores[pid] = pass_at_k(len(results), c, k)每题独立计算 pass@k，最后取均值
  5. random.random() < 0.9模拟模型在原版测试上的 90% 高通过率
  6. edge = random.random() < 0.4 if base else True给“原本正确”的解加 40% 概率的边界反例，模拟增强版的路况突变
  7. problems['prob' + str(i)][j] = base and edge只有基础正确且边界也通过，才算在 HumanEval+ 中通过

常见误区

误区“我的模型在 HumanEval 上 pass@1 到了 82%，比 GPT-4 还高，说明我们代码能力顶尖！”

正解HumanEval 每题平均只有 7.7 个测试，路线太少，模型背几个常见套路就能高分。同一模型换到 HumanEval+ 后普遍掉 10~30 个百分点。就像学员在三条固定路线上考满分，换成四十条随机路况立马不及格。评测代码能力必须同时报告两个基准的分数。

为何常见：大多数论文和榜单习惯性只展示 HumanEval 原版分数，大家看惯了“80% 封神”的叙事，忽略了背后的测试数量天花板。

误区“采样 10 次有 2 次通过，那 pass@1 就是 0.2；pass@5 就按比例放大一下，直接算就行。”

正解直接把 c/n 代入 $1-(1-p)^k$ 会系统性低估，因为 n 有限、样本有噪声。必须用无偏估计 $1-\binom{n-c}{k}/\binom{n}{k}$。比如 n=10、c=2 时，真实 pass@5 约 0.78，而不是简单的 0.2 或按比例放大的值。补考机会带来的概率提升，只有组合数公式算得准。

为何常见：朴素概率公式在 n 无穷大时才精确，而实际评测的采样数通常只有几十，直觉算法在小样本下偏差被放大。

误区“我写个脚本暴力生成一大堆随机输入当测试，数量上不比 HumanEval+ 少，效果应该一样。”

正解自动生成的测试必须经过人工校验：去除与题干矛盾的用例、修正预期输出、确保覆盖合理。否则错误用例会误杀正确代码，反而污染评测结果。EvalPlus 团队的做法是“自动生成 + 人工核验”双保险——考卷不是题多就行，还得每道题本身是对的。

为何常见：只看到 HumanEval+ 用自动化方法扩测的表面流程，没注意到其背后严格的质量管控。

误区“HumanEval 是公开数据集，模型训练时见过难免，分数虚高一点可以接受吧？反正大家都这样。”

正解数据污染会让评测完全失真：模型可能在背答案而非学写代码，上线后面对真实边界输入立刻崩溃。评测时必须做污染检测（改名重测、私有新题交叉验证），并在报告中声明结果。就像教练考前发了答案，学员考再好也不能证明车技。

为何常见：低估了“记忆”与“泛化”的本质区别，以为见过答案的分数同样能代表真实能力。

面试题

Q1. HumanEval 评测集中共有多少道 Python 编程题目？

单选题 · easy

  • A.64 道编程题目
  • B.164 道编程题目← 正确答案
  • C.264 道编程题目
  • D.1000 道编程题目

答案：B。HumanEval 是 OpenAI 2021 年发布的 164 道手写 Python 题评测集。64、264、1000 都是干扰数字。记住 164 这个标志性数字，它对应“函数签名 + 文档字符串 + 少量测试”的小而精设计。

Q2. HumanEval+ 相比原版 HumanEval 的核心改进是什么？

单选题 · easy

  • A.把题目数量扩充千道
  • B.大幅扩充测试用例← 正确答案
  • C.改用中文自然语言
  • D.去掉函数签名提示

答案：B。HumanEval+ 保留原题不变，核心是把每道题的测试用例从平均 7.7 个扩充到 50 个以上，总量约 7.8 倍，用来揪出“过拟合少量示例”的虚高分数。它不是加题目数量，而是给每道题加“魔鬼路况”。

Q3. HumanEval+ 的测试用例总量大约是原版的多少倍？

单选题 · easy

  • A.约 1.5 倍左右
  • B.约 3.2 倍左右
  • C.约 7.8 倍左右← 正确答案
  • D.约 15 倍左右

答案：C。EvalPlus 团队在论文中给出标志性数字：HumanEval+ 新增用例后测试总量约为原版 7.8 倍，每题平均测试数超过 50 个。1.5、3.2、15 都是干扰项，7.8 是必须记住的关键数字。

Q4. 以下关于 pass@k 的说法，哪些是正确的？

多选题 · mid

  • A.k 值越大通过率越高← 正确答案
  • B.pass@1 只用单个解← 正确答案
  • C.估计需用组合数修正← 正确答案
  • D.k 可以大于采样数

答案：ABC。k 表示从 n 个采样解中挑选 k 个作为“尝试机会”，任一通过即算通过，所以 k 越大通过率越高；pass@1 只采一个解；由于 n 有限，需要用组合数公式做无偏估计。而 k 不可能大于采样总数 n，所以 D 错误。

Q5. 已知一次评测采样 n=10 个候选解，其中 c=2 个通过全部测试，则 pass@5 的无偏估计约为？

单选题 · hard

  • A.约 0.20 左右
  • B.约 0.78 左右← 正确答案
  • C.约 1.00 左右
  • D.约 0.50 左右

答案：B。用无偏估计公式：pass@5 = 1 - C(8,5)/C(10,5) = 1 - 56/252 ≈ 0.78。直接取 2/10 = 0.2 会严重低估，因为它忽略了“从 10 个里挑 5 个”带来的选择优势。0.78 才是补考机制下的真实通过概率。

Q6. 以下哪种代码最符合“欺骗性代码”的特征？

单选题 · mid

  • A.示例测试通过且边界全通过
  • B.示例测试通过但边界用例失败← 正确答案
  • C.示例测试失败但边界用例通过
  • D.示例测试与边界用例都失败

答案：B。欺骗性代码的核心特征是“应试型”：在示例测试（原版少量用例）上全过，看起来正确无比，但一遇到边界输入（空值、大数、极端长度）就失败。这正是 HumanEval+ 的边界测试要暴露的对象。

Q7. 检测评测数据污染常用的方法有哪些？

多选题 · hard

  • A.随机更改变量名后重测← 正确答案
  • B.改写题干描述再测试← 正确答案
  • C.用私有新题交叉验证← 正确答案
  • D.直接删除全部测试用例

答案：ABC。检测污染靠“换皮重测”：改名（随机更改变量名、函数名）、改描述（改写 docstring 措辞但语义不变）、以及用未公开的私有新题交叉验证。如果换皮后分数暴跌，说明模型在背答案。删除测试用例不解决任何问题。

Q8. pass@1 的含义是下列哪一项？

单选题 · easy

  • A.采样一个解并且它通过← 正确答案
  • B.采样十个解取最好结果
  • C.允许一次失败的机会
  • D.训练一个周期的轮数

答案：A。pass@1 表示只采样 1 个解，且这个解必须通过全部测试才算通过。它是“一次机会”的指标，反映模型直接稳定输出正确代码的能力，也是评测中最常报告的基础数字。

Q9. 一套鲁棒的代码生成评测协议应包括哪些要素？

多选题 · mid

  • A.沙箱隔离的执行环境← 正确答案
  • B.固定随机种子和温度← 正确答案
  • C.同时报双基准分数← 正确答案
  • D.允许模型联网查询答案

答案：ABC。鲁棒协议要求沙箱隔离（防止危险代码执行）、固定随机种子与温度（保证可复现）、同时报告原版与增强版分数（避免只看虚高成绩）。允许联网查询答案相当于考场开卷作弊，是明确的禁止项。

Q10. 为什么直接用 c/n 代替 p 代入 1-(1-p)^k 会低估 pass@k？

单选题 · hard

  • A.因为采样总数 n 是有限的← 正确答案
  • B.因为温度参数设置过高
  • C.因为测试用例数量太少
  • D.因为正确解总排在最前面

答案：A。朴素概率公式 $1-(1-p)^k$ 在 p 精确已知且 n 无穷大时才成立。实际评测中 n 只有几十个，直接用 c/n 估计 p 会忽略有限样本的抽样噪声，导致系统性低估。无偏估计用组合数公式精确刻画“选的 k 个恰好全是错误解”的概率，弥补了这个偏差。