想象你坐在一家热闹的餐厅里。服务员穿梭、餐具碰撞、邻桌的谈笑声混成一片。这时，你的朋友隔着桌子压低声音，想告诉你一个重要的消息。 你心里其实有两个剧本：朋友只是随口闲聊（统计学上叫“原假设 H0”）；朋友正在说一件真正重要的事（“备择假设 H1”）。你的任务，是判断哪个剧本正在上演。 但你不可能每次都判断正确。朋友其实在闲聊，你却误以为听到了重要消息并激动地喊出来——这是“第一类错误”（α），俗称误报。朋友真说了重要消息，你却只捕捉到几个模糊音节就错过了——这是“第二类错误”（β），俗称漏报。 那么，你最关心的是什么呢？是朋友真说了重要事时，你能听清的概率。这个概率就叫“功效”（Power），数学上等于 1 − β。 想让功效变大，有四招：凑近一点多听一会（增大样本量）、叮嘱朋友说大声些（增大效应量）、放宽你对“重要”的判定门槛（提高显著性水平 α）、专心听一侧而不左右张望（用单尾检验）。但每招都有代价：听太久会累，朋友喊太久会哑，判定太松会频繁误报。 这篇文章将带你像调节音量旋钮一样，科学地“调好”你的实验：从理解功效的定义，到用几行公式算出到底需要听多久、收集多少人，才能既不错过重要消息，又不浪费整个晚上的时间。
统计功效分析是 AI 从业者做实验的“听诊器”：它决定你的 A/B 测试、模型对比实验到底需要多少样本，避免“没差异却硬说有差异”或“有差异却看不见”的尴尬，是实验可靠性与资源效率之间的平衡杆。
可视化演示
展示统计功效曲线、两类错误分布与样本量计算，交互调节效应量和显著性水平查看功效变化。
本节配有交互动效（进入视口后自动加载，约 3KB）。
功效曲线：样本量与检测能力 功效随样本量增大而提升大效应量所需样本更少 不同效应量对应不同功效曲线 Power=1-β=(1-β) 功效0.8为常用标准确保检测真实效应
功效基本定义
餐厅嘈杂，朋友要传达一个“有变化”的消息。你先在心里立了一个默认剧本“他没说什么特别的”（H0），只有当证据足够充分时你才推翻它，认定“他真在说重要的事”（H1）。注意一个细节：H0 才是默认剧本，因为怀疑一切的成本太高——你总不能每句话都停下筷子追问。
统计检验的世界里同样如此。原假设 H0 通常主张“没有差异”（比如两个模型效果一样），研究假设 H1 主张“存在差异”。你收集数据、计算检验统计量，当它落在极端的拒绝域中时就拒绝 H0 接受 H1。但判断可能出错，出错方式恰好与餐厅场景一一对应：第一类错误 α 是 H0 为真却拒绝（把闲聊当真），第二类错误 β 是 H1 为真却接受（把真话当闲聊）。
功效 Power 定义为 H1 为真时你能正确拒绝 H0 的概率：
在餐厅里，朋友确实说了重要的话而你没听清，这就是 β；你听见了并认真记下来，就是 1−β。理想境界是既能抓住所有真消息，又不至于把邻座的闲聊也当成大事——但现实没有免费的午餐，功效和误报需要你亲手调平衡。对 AI 从业者来说，这意味着实验设计的第一课：先想清楚“看漏”和“看错”哪个代价更高。
- Power 的符号$\text{Power}$ 是英文“功效”的标识，意为检验的“侦测能力”，即逮住真差异的本事。
- β 的含义$\beta = P(\text{接受} H_0 \mid H_1 \text{为真})$，它是真相确有差异时我们却没发现的概率，也就是漏报率。
- 功效计算$\text{Power} = 1 - \beta$，用“1“减去漏报率，就得到”逮到真差异”的概率。
四大影响因素
你的“听力系统”有四个旋钮：凑近听多久（样本量）、朋友说多大声音（效应量）、你多容易当真（显著性水平 α）、以及你是否只盯着一侧（单双尾）。每个旋钮都会直接影响最终的“听清概率”。
一个检验的功效由四个因素共同决定。显著性水平 α 是判定门槛，门槛越松（α 越大）越容易判定“有差异”，功效越高，但误报也变多；效应量 d 是真实差异的强弱，差异越明显越容易被检测；样本量 n 是数据量，信息越多功效单调上升；单双侧则决定了你的“注意力分配”，方向正确时单尾功效更高。
从决策的角度看，“拒绝 H0”这个事件在不同世界下的概率可以统一写成：
这就像同一个“拍桌子”动作，在不同情境下含义天差地别：朋友说假话时你拍桌子是误报（α），朋友说真话时你拍桌子是抓准了（1−β）。四个旋钮中，效应量与样本量是数据科学家最该优先调的两档，因为 α 和单双尾往往受领域规范约束，自由发挥空间不大。
- 事件“拒绝 H0”$P(\text{拒绝} H_0)$ 表示做出“发现差异”这一决策的总概率，它是整个公式的主角。
- 上分支 α当 $H_0$ 为真（世界本无差异）时拒绝它，这个错误决策的概率就是 $\alpha$。
- 下分支 1−β当 $H_1$ 为真（世界确有差异）时拒绝 $H_0$ 的概率是 $1-\beta$，这正是功效本身。
效应量Cohen d
“朋友说话声音有多大”似乎是主观感觉，但工程师会说：请给出分贝数。效应量就是信号强度的“分贝”，它把差异从“感觉上很明显”变成“标准差刻度上可量化”。
均值差异 μ₁−μ₂ 本身受单位影响：身高差 1 厘米和点击率差 1 个百分点完全不可比。Cohen 提出把它们除以共同的“噪声底数”——总体标准差 σ，得到标准化效应量：
经验标准：d=0.2 视为小效应，0.5 中等，0.8 大效应。但标准只是起点，更专业的做法是“先验效应量”：参考前人文献中的同类实验、先用小规模试点算出 d 作为预估值、或者直接采用“业务上最小有意义差异”（比如点击率提升不足 0.5% 就不值得上线）。实验结束后还能用样本均值与标准差回算 d̂，描述“实际观察到的效应”。
d 就是朋友把声音提高了几个“分贝”。d=0.2 像是微微张嘴，d=0.8 则是凑到你耳边一个字一个字地说。分贝定了，你才能算需要“听多久”才够——这是后续所有计算的地基，地基错了整栋楼都会歪。
- 分子 μ₁−μ₂$\mu_1 - \mu_2$ 是两组总体均值之差，代表信号中心点的偏移量，衡量“差异有多大”。
- 分母 σ$\sigma$ 是合并后的总体标准差，代表数据本身的波动尺度，相当于背景噪声的底数。
- 比值 d$d$ 是标准化后的效应量，与原始单位无关，因此可以跨实验、跨指标直接比较。
功效曲线解读
有了分贝和判定门槛，剩下的问题就是：听多久才能有把握听清？把样本量放在横轴、听清概率放在纵轴，画出来的曲线就是功效曲线，它能直观告诉你“投入产出比”。
以两样本均值检验为例（σ 已知、双尾），功效关于样本量 n 的函数可写成：
曲线呈 S 形：样本量很小时功效低得可怜；随着 n 增大迅速爬升；到后期增速放缓，几乎贴着 1 的天花板缓慢逼近。这意味着“加人”的边际收益会递减。业界默认功效目标为 0.8（严格领域用 0.9），相当于给自己定下“真消息至少听清八成”的及格线。
功效曲线就像“学习时间 vs 考试及格概率”：从 10 小时到 20 小时提升巨大，但 90 小时到 100 小时已看不出区别。聪明的学生会先查曲线再决定投入多少时间，而不是盲目刷夜。AI 工程师做 A/B 测试前也该先看这条曲线，而不是凭直觉设定流量比例。
- Φ 函数$\Phi$ 是标准正态的累积分布函数，它把括号里的“距离”翻译成“概率”。
- 信号积累项$d\sqrt{n/2}$ 是样本量带来的信号累积量，n 越大、d 越大，这个值就越强。
- 临界值$z_{1-\alpha/2}$ 是由 α 决定的临界 z 值（α=0.05 时为 1.96），代表你设置的判定门槛。
- 整体相减信号超出门槛越多，括号里越接近正无穷，功效就越趋近于 1。
样本量计算
你已经定好音量（d=0.5）、门槛（α=0.05）、及格线（功效 0.8），现在要倒推：到底需要听多久（n），才能稳稳达到八成把握？这就是样本量计算——功效分析最核心的落地动作。
把功效函数反解，就得到两样本 t 检验所需的每组样本量公式：
代入 d=0.5、α=0.05、双尾、功效 0.8：z₁₋α/₂=1.96，z₁₋β=0.84，算得 n≈63，每组约 64 人。实际工作中还要考虑：总体标准差未知需预估并乘上裕量、样本流失率（比如预留 20% 损耗）、多重比较会抬升 α 需要 Bonferroni 修正。常用工具是 G*Power 软件与 Python 的 statsmodels 包。
这个公式回答的是“要竖起耳朵听几分钟”。你不需要无限听下去，算清楚分钟数，听够了就能安心放下筷子。这正是实验规划的意义：既不做“样本量不足、白跑一场”的亏本实验，也不做“样本量超标、浪费流量”的土豪实验。
- n 的含义$n$ 是要计算的“答案”——每组所需的样本量（注意是每组，不是总数）。
- z 分量$z_{1-\alpha/2}$ 对应显著性水平 α（α=0.05 时为 1.96），$z_{1-\beta}$ 对应目标功效（功效 0.8 时为 0.84）。
- 平方与系数 2$(z_{1-\alpha/2} + z_{1-\beta})^2$ 反映“误报容忍 + 漏报容忍”的双重代价，系数 2 来自两组比较的标准差代价。
- 分母 d²$d^2$ 是效应量的平方，效应越大分母越大，所需样本量越小，这就是“信号越强听越容易”的数学形式。
检验类型差异
听消息的场景有很多种：朋友一对一嘀咕（两组均值比较）、一桌人争相发言（多组比较）、或者你只关心“今天有没有人提到关键词”（比例计数）。不同场景要换不同的“听法”，功效分析的数学底盘也随之改变。
t 检验比较两组均值，直接套用上一节的样本量公式，最常用；方差分析（ANOVA）检验多组均值是否全相等，效应量用 Cohen's f，功效由非中心 F 分布决定；卡方检验检验分类变量独立性，效应量用 Cohen's w，功效由非中心卡方分布决定；非参数检验在数据不满足正态时更稳健，但通常功效略低于对应的参数检验。
方差分析中，非中心参数 λ 是功效的关键：
不管是哪种“听法”，底层逻辑都是同一个配方：效应量当盐、样本量当水、α 当火候。换的只是锅具——t 锅、F 锅、卡方锅，但“水盐火候”三样缺一不可。明白这一点，你就不会被不同检验的公式吓到，因为它们都是同一道菜的不同做法。
- λ 的含义$\lambda$（lambda）是非中心参数，相当于“信号强度在 F 分布世界里的刻度”，λ 越大检验越有力。
- n 的作用$n$ 是每组样本量，样本越多，信号累积得越多。
- f 的贡献$f^2$ 是 Cohen's f 的平方，f 是 ANOVA 的效应量，平方后放大差异的贡献。
- 乘积关系$n \times f^2$ 与 t 检验公式一脉相承——信号强度 = 每单位的效应强度 × 样本量，只是概率世界从正态分布换成了 F 分布。
功效分析流程
真正执行“听清计划”时，你不能拿起筷子就听，得按流程走：先明确关心什么差异，再设定音量、门槛、及格线，算出需要听多久，最后评估这个计划是否现实可行。
标准功效分析流程如下：
1. 明确原假设与备择假设，确定采用哪种检验方法；
2. 确定效应量 d：来自文献、试点数据或最小业务差异；
3. 设定显著性水平 α（常用 0.05）与目标功效（常用 0.8）；
4. 代入公式或软件计算所需样本量；
5. 检查可行性：样本量是否在预算内？不行则调整效应量目标或改用单尾检验；
6. 采集数据后，用实际样本量回算可检测的最小效应量，作为结果报告的一部分。
整个流程中，最终支撑结论的是那个检验统计量，它衡量“听清了多少”：
举个例子：某 App 做 A/B 测试，期望把次日留存率从 20% 提到 23%。用比例的标准差估算，d≈0.07，代入公式 n=2(1.96+0.84)²/0.07²≈2946，每组约需 3000 人。这个案例展示了“小效应量需要大样本量”的铁律——如果你只想提升 1 个百分点，可能得准备几万人。
流程的意义在于：动手实验之前，你已经知道“这场实验到底值不值得做”。朋友的话有没有价值，你先算出要听多久才值得竖起耳朵——这正是数据科学家的日常：用最小的成本，换来最可靠的是非判断。
- 分子 均值差$\bar{x}_1 - \bar{x}_2$ 是两组样本均值的差，这是数据替我们看到的“信号”。
- 分母 标准误$s_p\sqrt{2/n}$ 是合并样本标准差形成的标准误，这是数据里的“噪声”。
- t 统计量$t$ 是信号与噪声的比值，t 值越大，越容易拒绝 H0、发现真差异。
AI 应用场景
A/B 测试的样本量规划
阶段：实验设计阶段
解决的问题：传统做法凭经验定流量分配，样本太少时功效不足，真实提升被噪声淹没；样本太多则浪费宝贵的用户流量。功效分析让团队在实验前就量化“最少需要多少用户”。
具体案例：某推荐算法团队计划将点击率从 4.0% 提升到 4.4%，用功效分析算出 d≈0.02，每组需要约 3.9 万用户。产品经理看后决定把目标调整为更激进的 4.8% 或放弃本次实验，避免了一场注定无果的流量消耗战。
临床试验的样本量论证
阶段：研究方案审批阶段
解决的问题：医学试验涉及患者安全与伦理，样本量太大会让多余受试者暴露在风险中，太小则无法得出可靠结论。监管机构强制要求方案中给出功效分析计算过程。
具体案例：某新药 II 期试验以主要疗效指标（收缩压降幅）的 Cohen's d=0.4 为预期效应，α=0.05、功效 0.9，计算得每组 66 人。统计师在方案中附上功效曲线，说明若入组不足 60 人时功效将跌破 0.85，据此确定了招募目标。
模型对比的显著性验证
阶段：模型评估与选型阶段
解决的问题：训练集上模型 A 的准确率比模型 B 高 0.5%，这个差异是真实能力差距还是随机波动？功效分析帮助确定需要多少测试样本才能以 80% 的概率检测出这一差异。
具体案例：某 NLP 团队在 1 万条测试集上对比两个模型，用配对 McNemar 检验做功效分析，发现当前测试集只有约 35% 的功效检测出 0.5% 的差异。团队据此扩充测试集至 4 万条，才敢在评审会上断言“模型 A 显著优于 B”。
Python 演示
# -*- coding: utf-8 -*-import math def normal_cdf(x): """标准正态累积分布函数 Phi(x), 用 math.erf 实现""" return 0.5 * (1 + math.erf(x / math.sqrt(2))) def inverse_normal(p): """二分法求解 z, 使 normal_cdf(z) = p""" lo, hi = -8.0, 8.0 for _ in range(60): mid = (lo + hi) / 2.0 if normal_cdf(mid) < p: lo = mid else: hi = mid return (lo + hi) / 2.0 def sample_size_per_group(d, alpha=0.05, power=0.8): """两样本均值检验, 每组所需样本量""" z_alpha = inverse_normal(1 - alpha / 2.0) z_beta = inverse_normal(power) return 2.0 * (z_alpha + z_beta) ** 2 / (d ** 2) def compute_power(n, d, alpha=0.05): """给定样本量 n 和效应量 d, 计算功效""" z_alpha = inverse_normal(1 - alpha / 2.0) return 1 - normal_cdf(z_alpha - d * math.sqrt(n / 2.0)) if __name__ == "__main__": for d in [0.2, 0.5, 0.8]: n = sample_size_per_group(d) print("d=%.1f 每组需要 n=%.0f 样本" % (d, math.ceil(n))) n = 100 power = compute_power(n, 0.4) print("n=%d 时可检测 d=0.4 的功效=%.3f" % (n, power))
def normal_cdf(x):用数学库的误差函数实现标准正态累积分布，这是所有功效计算的“翻译官”，把 z 值翻译成概率。return 0.5 * (1 + math.erf(x / math.sqrt(2)))误差函数与正态 CDF 的换算公式，一行代码搞定 Φ(x)。def inverse_normal(p):二分法求 z 分数，相当于查正态分布表的逆过程，60 次迭代精度已远超实际需求。return 2.0 * (z_alpha + z_beta) ** 2 / (d ** 2)样本量核心公式的代码形态，分子是两类错误 z 值之和的平方，分母是效应量平方。return 1 - normal_cdf(z_alpha - d * math.sqrt(n / 2.0))功效函数：信号强度减去门槛后，用 CDF 换算成“逮住差异”的概率。math.ceil(n)样本量必须向上取整为整数，你不能招募“62.3 个人”。
常见误区
误区功效当然是越高越好，设成 0.99 甚至 1 才放心，0.8 感觉太低了吧？万一真有效应没检测出来，岂不是白做实验？
正解功效从 0.8 提到 0.95，样本量大约要增加 50% 以上。就像在餐厅听朋友说话，戴助听器能听清每个字，但你不必为一句闲话戴一整晚。0.8 是统计学家长期实践中总结出的成本与风险平衡点，是“性价比最高的及格线”。
为何常见：直觉上“越高越好”忽略了资源约束，而功效分析恰恰是资源有限的决策工具，不是追求绝对完美的数学游戏。
误区实验跑完 p=0.2，不显著。我做个事后功效分析，发现功效只有 0.3，说明“功效不足所以没显著”，这个解释很合理吧？
正解p 值已经包含了功效的信息。事后用观测到的效应量回算功效，属于循环论证——观测效应量和 p 值来自同一批数据，两者严格对应，事后功效不会提供任何新信息。这就好比考试交卷后，你用分数倒推“如果多复习一小时就能及格”，对改变成绩毫无帮助。
为何常见：人总想给失败的结果找一个体面的技术性解释，事后功效看起来科学，实则是自我安慰。
误区d 先设 0.8，反正公式会帮我算出样本量，至于实际效应多大，等实验跑完就知道了。
正解效应量错，样本量就错。把微小真实效应当成大效应，样本量严重不足，功效虚高；反之则浪费资源。正确的做法是从文献、预实验或“最小业务意义值”中获取 d，比如“点击率提升不足 0.5% 不值得上线”，这个 0.5% 才是效应量的锚点。
为何常见：效应量不像 α 和功效那样有默认约定值，需要领域知识，新手容易偷懒拍脑袋。
误区单尾检验让功效变高，肯定是把 α 偷偷藏起来一部分，这是统计造假吧？
正解单尾检验有严格的适用条件：实验前就约定只关心单方向，比如“新模型不会比旧模型差”。它把 α 合法地集中在单侧，临界 z 值从 1.96 降到 1.645，功效更高且完全合规。但如果方向猜错，功效反而比双尾更低——这是单尾的代价。
为何常见：人们容易混淆“统计方法选择”与“学术不端”，判断标准是是否在实验前预先声明方向，而不是事后投机取巧。
面试题
Q1. 关于统计功效，下列说法正确的一项是
- A.功效表示正确接受原假设的概率
- B.功效表示正确拒绝错误原假设的概率← 正确答案
- C.功效等于错误接受原假设的概率
- D.功效只与样本量一个因素有关
答案：B。功效 = 1−β，是 H1 为真时拒绝 H0 的概率，对应餐厅里“朋友真说了重要消息而你听清了”。A 描述的是“不拒绝 H0 且 H0 为真”的情形，不是功效；C 是 β 的定义；D 忽略了 α、效应量、单双尾等因素。
Q2. 其它条件不变，显著性水平从 0.01 提高到 0.05，功效会
- A.明显升高（判定门槛放松更容易发现差异）← 正确答案
- B.明显降低（误报变多会干扰判断）
- C.完全不变（α 与功效没有关系）
- D.先降后升（受样本量非线性影响）
答案：A。α 是“拒绝 H0”的门槛。门槛放宽后，H1 为真时拒绝 H0 的概率也随之上升，所以功效提高，代价是误报率增加。就像你更容易把背景噪音当真，但也更不容易漏掉真话。
Q3. 其它条件不变，效应量从 0.2 增大到 0.8，所需每组样本量
- A.小幅增大（信号更强需要更多数据）
- B.减小为原来的约 1/16← 正确答案
- C.保持不变（效应量与样本量无关）
- D.增大为原来的 4 倍
答案：B。n 与 d² 成反比，(0.8/0.2)²=16，所以样本量缩小为原来的 1/16。信号分贝越大，你需要“听的时间”越短，这与“朋友喊得越响，你听得越快”的生活直觉完全一致。
Q4. 效应量 d=0.5 的直观含义是
- A.两组均值相差零点五个标准差← 正确答案
- B.显著性水平正好是百分之五
- C.检验功效恰好等于百分之五十
- D.两组均值完全重合没有差异
答案：A。Cohen's d 的定义是均值差除以总体标准差，d=0.5 表示两组中心平均偏离 0.5 个标准差，属于中等效应。它既不直接等于 α，也不等于功效数字，更不能说明“没有差异”。
Q5. 以下哪些做法能提高检验功效
- A.增大样本量（收集更多数据点）← 正确答案
- B.提高显著性水平（放宽判定门槛）← 正确答案
- C.减小效应量（使差异更难被发现）
- D.由双尾检验改为方向明确的单尾← 正确答案
答案：ABD。增大 n 让信号更稳定，提高 α 放宽门槛，单尾把 α 集中在一侧，三者都提升功效。C 方向反了——效应量减小意味着信号更弱，功效反而下降。
Q6. 效应量 d=0.5、α=0.05 双尾、目标功效 0.8，每组约需
- A.每组约 8 人（小样本即可检验）
- B.每组约 32 人（样本量翻四倍）
- C.每组约 64 人（公式计算的常见解）← 正确答案
- D.每组约 264 人（大效应所需）
答案：C。代入 n=2(z₁₋α/₂+z₁₋β)²/d²，z₀.₉₇₅=1.96、z₀.₈=0.84，计算得 n≈2×(2.8016)²/0.25=62.8，向上取整每组约 64 人。这是功效分析中最常被考到的数字，务必记住。
Q7. 实验前做功效分析，需要先明确哪些参数
- A.期望检测到的效应量大小← 正确答案
- B.显著性水平 α 的取值← 正确答案
- C.目标功效（如 0.8）← 正确答案
- D.实验结束后 p 值的具体大小
答案：ABC。效应量、α、目标功效是功效分析的三个输入参数。p 值是实验结果的输出，实验前不可能知道，用它做输入属于典型的“因果倒置”。
Q8. 相同条件下，单尾检验相比双尾检验
- A.功效更高（概率集中在一个方向）← 正确答案
- B.功效更低（只观察一半数据）
- C.功效相同（α 不变则功效不变）
- D.功效无法计算（公式不适用）
答案：A。单尾把 α 全部放在一侧，临界值从 1.96 降为 1.645，同样信号更容易越过门槛，功效更高。前提是方向必须正确，若方向猜错则功效反而更低。
Q9. 关于方差分析功效中的 λ=n×f²，下列说法正确的是
- A.f 是 ANOVA 的效应量 Cohen's f← 正确答案
- B.n 表示每组的样本量← 正确答案
- C.λ 越大检验功效反而越低
- D.λ 就是最终报告的 p 值
答案：AB。λ 是非中心参数，f 是效应量、n 是每组样本量，λ=nf² 衡量信号强度，λ 越大功效越高，C 说反了。λ 是决定分布的参数，与 p 值是两个概念，D 错误。
Q10. 固定其它参数不变，样本量 n 不断增大时，功效会
- A.逐渐趋近于 1（信号积累占优）← 正确答案
- B.逐渐趋近于 0（噪声随样本消失）
- C.先升后降（越过最优样本点）
- D.收敛到 α（受门槛上限约束）
答案：A。功效函数 Φ(d√(n/2)−z₁₋α/₂) 中，n 增大使信号项单调增长，功效单调上升并收敛到 1。这正是功效曲线“边际递减但永不回落”的数学本质——样本越多，“听清”的概率越高，只是增速越来越慢。