HumanEval：pass@k指标——给 AI 选手一个弹匣，看它能多快上靶

可视化演示

演示HumanEval中pass@k指标的计算：对一题多次采样代码、逐一测试，统计至少一次通过的概率，并对比pass@1与pass@100的能力差异。

基准概述

想象一座专为 AI 设计的打靶场：考官摆出 164 个函数题目靶，AI 选手只能凭一句描述和函数签名写代码，写完后隐藏的单元测试像弹道检测器一样判定是否命中。这就是 HumanEval，OpenAI 提出的代码生成评测基准。它不考背诵，也不考常识，只考一件事：给你一个函数签名和一段说明文字，你能不能写出满足输入输出要求的函数。这些题目由人类专家手工编写，每个靶位配好了若干个单元测试，只有全部测试通过，这一枪才算上靶。

HumanEval 最鲜明的特点是“函数级评测”。它不是让模型做选择题，而是让模型生成完整函数，然后真实运行测试用例。整个靶场共 164 道 Python 编程题，覆盖字符串处理、简单算法、逻辑判断等常见编程任务。因为在真实工程中，代码能跑、结果正确是唯一硬标准，这种评测方式天然比“预测下一个词”更贴近使用场景，也因此成为 LLM 代码能力的事实标尺。

基础的通过率可以写成所有题目上的命中率：

所以，当你在模型榜单上看到 HumanEval 分数时，可以把它理解为：这位 AI 射手站在 164 个靶位前，按最简单的单发规则命中多少个靶。这个基础分数，是 pass@k 一切讨论的起点。

核心指标

但打靶比赛不会只给 AI 射手一发子弹。考官递上一个弹匣，里面有 k 发子弹；射手依次打出 k 个候选代码，只要其中任意一个通过单元测试，这一题就算成功。这就是 pass@k 的核心直觉：成功条件不是“每一发都中”，而是“至少一发中”。当 k=1 时，它退化为普通的 pass@1，考察模型一次生成就正确的能力；当 k=10 或 k=100 时，它考的是模型在多次尝试中能否找到正确答案，也就是它的生成潜力。

实际评测中，我们要把 k 发子弹的规则套用到 N 道题上，对所有题目求平均。于是 pass@k 可以写成：

因此，pass@1 衡量的是“一枪定胜负”的稳定性，pass@10 和 pass@100 则像给射手更多试错机会，专门探测它的能力上限。k 越大，反映的越是“这个模型到底能不能写出正确代码”，而不是“它第一次写得对不对”。

概率原理

为什么 k 越大，命中率越高？我们可以把 AI 射手看作一个状态稳定的选手：每次单发命中靶心的概率都是 p，并且每发子弹互不干扰。这就像一位训练有素的射击运动员，虽然枪法不是百发百中，但每一枪的命中率是稳定的。当然，真实模型采样并非完全独立，这里先接受这个理想化假设，便于建立直觉。

“至少一发命中”的反面是“k 发全部脱靶”。每一发脱靶概率是 1-p，因为互不干扰，k 发全部脱靶的概率就是 $(1-p)^k$。用 1 减去它，就得到至少一发命中的概率：

这条曲线的形状很有规律：开始时 k 增大，成功概率迅速上升；到后面子弹打得再多，提升也越发有限。例如 p=10% 时，pass@10 约 65%，pass@100 约 99.997%。这说明用 10 发子弹已经能较好探测潜力，而 100 发几乎必然命中，却也几乎无法区分射手之间的差距。

估计算法

现实中的评测不可能真的让模型无限采样。假设对一道题只生成 n 发子弹，记录其中 c 发命中靶心，我们想从这组样本中估出 pass@k。最朴素的做法是把 c/n 当作 p，直接代入 $1-(1-p)^k$。这样算出的结果叫朴素估计，它有一个严重缺陷：当 k 接近 n 时，偏差会变得很大，系统性地低估真实的 pass@k。

为什么会有偏差？因为 $c/n$ 只是真实命中率的估计值，把它代入非线性函数后再求期望，和先求期望再代入函数并不等价。论文里给出的无偏估计公式是：

这就像在打靶记录里做“有放回的组合检查”：不是简单相信平均命中率，而是老老实实数一数，从 n 发子弹中取 k 发，有多少种情况会全军覆没，再用总数减去它。正因为这样，评测报告中的 pass@100 才更可信。

评测实践

理解了公式，我们来回答一个实际问题：评测时 k 到底该取多少？答案是看你想区分什么。如果关心产品体验中“用户第一次提问就得到能跑代码”的概率，pass@1 最有说服力；如果关心模型能力的上限，比如能不能解出难题，pass@100 更能拉开差距。主流论文通常同时报告 pass@1、pass@10 和 pass@100，形成一组“能力剖面”。

采样温度也是一个关键旋钮。温度越高，模型生成的代码越发散，相当于让射手用更松的扳机打出更飘的弹道；温度越低，输出越保守，命中率集中但多样性差。在 HumanEval 评测中，temperature=0.2 到 0.8 是常见范围，温度直接决定了 k 次采样之间的多样性，进而影响 pass@k 的高低。

当然，子弹是要花钱的。生成每个候选代码都有推理成本，因此：

开发者需要在“想探明潜力”和“付得起账单”之间找平衡。这也是为什么实际产品很少对每个请求都跑 100 次采样，更常见的是先用小 k 快速响应，再用大 k 在离线评测中摸清模型底细。

指标意义

最后，回到最根本的问题：pass@k 到底在告诉我们什么？它像一个分层记分牌：pass@1 是“上一次战场就打赢”的实战稳定性，pass@100 是“子弹管够时能否找到解法”的潜力上限。两个数字一起看，才能避免单一指标带来的误判——一个模型可能 pass@1 不高，但 pass@100 惊人，说明它“知道怎么做，只是第一次容易失误”。

反过来，pass@k 也有清晰的天花板。随着 k 无限增大，只要单次通过概率 p>0，成功率会无限逼近 100%：

这就是 pass@k 的“甜蜜陷阱”：k 太小，潜力看不出来；k 太大，所有模型都接近满分，区分度消失。优秀的评测会选择合适的 k 和温度，让差距显形，而不是把每个模型都夸成神枪手。下次看到模型榜单上的 HumanEval 分数，请先问一句：这是 pass@1，还是 pass@100？它用的是多大的弹匣？

AI 应用场景

Python 演示

import randomfrom math import comb  def simulate_pass_at_k(p, k, n_problems=5000):    """模拟打靶：每个问题采样 k 次，只要一次命中就算成功。"""    success = 0    for _ in range(n_problems):        passed = any(random.random() < p for _ in range(k))        if passed:            success += 1    return success / n_problems  def naive_estimate(p, k):    """朴素估计：把单发命中率直接代入公式（有偏）。"""    return 1 - (1 - p) ** k  def unbiased_estimate(n, c, k):    """无偏估计：用组合数从 n 次采样、c 次通过中估算 pass@k。"""    if n - c < k:        return 0.0    return 1 - comb(n - c, k) / comb(n, k)  def main():    p_true = 0.15    print("真实单发命中率 p =", p_true)     for k in [1, 10, 100]:        sim = simulate_pass_at_k(p_true, k)        naive = naive_estimate(p_true, k)        print(f"k={k}: 模拟 pass@k={sim:.3f}, 理论公式={naive:.3f}")     n, c = 200, 30    print("无偏估计示例: n=200, c=30")    for k in [1, 10, 100]:        est = unbiased_estimate(n, c, k)        print(f"  pass@{k} = {est:.3f}")  if __name__ == "__main__":    main()

1. passed = any(random.random() < p for _ in range(k))模拟 1 道题生成 k 个候选，只要有一次“命中”该题就成功。
2. return success / n_problems把所有题目的成功次数除以题目数，得到经验概率。
3. return 1 - (1 - p) ** k朴素估计，直接用单发命中率推算 k 次内至少一次命中的概率。
4. if n - c < k: return 0.0如果失败样本数不足 k，组合数无意义，按 pass@k=0 处理。
5. return 1 - comb(n - c, k) / comb(n, k)无偏估计的核心表达式，用组合数数出“全失败取法”的占比。

常见误区

面试题