想象一场国际美食大赛的决赛现场：厨师A端出祖传配方，厨师B端出全新创意配方。数百位评委各吃了一口，最后平均分显示“新配方比旧配方高出0.3分”。这0.3分到底意味着什么？是B厨师真的技高一筹，还是仅仅因为某几位评委当天心情好、偶然打高了分？统计显著性，就是统计学为这场“美食对决”特别设立的法庭。它有一套完备的审判规则：先假设新配方不占优势（无罪推定），再审视数据这条“证据链”是否足够确凿。如果证据强到“无罪假设”变得荒唐可笑，法庭才敢宣判“新配方胜出”；否则，只能判“证据不足，维持原判”。掌握这套规则，你就能科学判断A/B测试的差异是否真实可靠，在AI时代做一个不凭感觉下结论的理性裁判。

岗位关联

对于AI从业者而言，统计显著性是从模型实验到线上决策之间的“质检关”——掌握它，你才能自信地向业务方解释：这个模型的提升是真实的，还是运气好碰出来的。

目录
  1. 可视化演示
  2. 假设检验基础：法庭的无罪推定
  3. p值深度理解：证据有多罕见
  4. 置信区间：给真实差距画个圈
  5. 样本量估算：需要多少位证人
  6. A/B测试实战：完整审案流程
  7. 常见陷阱：司法冤案如何炼成
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

通过四步展示A/B测试中假设检验的核心流程：原假设分布、p值计算、显著性阈值判定与置信区间估计，支持步骤切换与参数调节。

本节配有交互动效（进入视口后自动加载，约 3KB）。

原假设 vs 备择假设 H0：实验组与对照组无差异 H1：实验组优于对照组 H0: μ_A = μ_B, H1: μ_A ≠ μ_B 假设检验通过对比分布判断差异是否显著

假设检验基础：法庭的无罪推定

美食大赛压轴环节，评委长宣布：“新配方能否胜出，我们要用数据来判。按照审判惯例，先假设新配方并不比旧配方好——就像法律上的无罪推定。除非数据证据强到让人无法忽略，否则我们不会推翻这个假设。”厨师B捏了把汗，他知道自己需要拿出足够硬的证据。

在统计学中，这个“先假设无罪”的框架就是假设检验。一对互为对手的声明分别叫零假设（H₀）和备择假设（H₁）：H₀说“新配方没有效果，两组均值无差异”，H₁说“新配方确实有效果”。实验数据不会直接告诉我们对错，而是凝聚成一个检验统计量——这就像把几十位评委的证词锻造成一件标准化的“证据”。检验统计量的取值越大，证据对H₁越有利。

最常用的检验统计量是z值，它衡量“观测到的那点组间差异，放在随机波动这杆尺子上到底占几格”：

回到美食法庭：无罪推定不是偏袒旧配方，而是为了保护经典不被轻易推翻。只有当证据（z值）极端到让“无罪假设”显得荒谬，我们才敢宣布翻案。这就是假设检验最朴素的正义观：宁可放过，不可错杀。

z=xˉ1−xˉ2s12n1+s22n2\displaystyle z = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}}
通俗理解：z值就是“信号与噪声的比值”。分子是两组均值的差距（信号），分母是随机波动的大小（噪声）。z值越大，说明差距越不像偶然。
  1. 两组均值$\bar{x}_1$ 和 $\bar{x}_2$ 分别是对照组与实验组的样本均值，例如两组用户的平均点击率。
    xˉ1−xˉ2\bar{x}_1 - \bar{x}_2
  2. 组内方差$s_1^2$ 与 $s_2^2$ 衡量组内个体差异的平方波动，差异越大说明个体间口味越不一致。
    s12n1+s22n2\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}
  3. 样本量$n_1$ 与 $n_2$ 是两组人数。除以样本量是因为“取均值”后个体噪声会被稀释——人越多，均值越稳定。
    s12n1+s22n2\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}
  4. 整体z值分子差异除以分母标准误，得到“差异相当于几个标准误”。这个值会被拿去和法庭的判决线（临界值）比较。
    z=信号噪声z = \frac{\text{信号}}{\text{噪声}}

p值深度理解：证据有多罕见

法官向陪审团提出了一个关键问题：“假设被告（新配方）真的是无辜的，也就是H₀成立——两组其实来自同一水平。那么在这样一个天下太平的世界里，我们看到'相差0.3分甚至更大'这种极端证据的概率有多大？”这个概率，就是统计学中最著名的概念——p值。

p值不是一个普通的概率，它是一把标尺，专门丈量“在无罪假设下，眼前证据有多离奇”。离奇到极致（p很小），陪审团就会嘀咕：“若真无罪，这也太巧了吧？”于是倾向于翻案。

拿到p值后，法庭还要对比一道事先划好的红线——显著性水平α。若p<α（常取α=0.05），则证据足够确凿，判决“拒绝H₀”；若p≥α，则判“证据不足”。注意：p值不是“新配方胜出的概率”，更不是效应大小。它只是“在无罪世界里，证据有多反常”的惊悚指数。

p=2×(1−Φ(∣z∣))\displaystyle p = 2 \times \left(1 - \Phi\left(|z|\right)\right)
通俗理解：Φ是标准正态分布的“累计查分表”，把z值变成概率。双尾检验同时关注“新配方显著更好”和“显著更差”两个方向，所以尾部概率要乘以2。
  1. 标准正态分布$\Phi$ 把任意z值映射成“比这个z值小的概率”，好比把陪审团得到的证据分数换算成百分位排名。
    Φ(∣z∣)\Phi(|z|)
  2. 取绝对值$|z|$ 表示我们关心差距的绝对大小，不区分方向——差异太大或太小都算证据异常。
    ∣z∣\left|z\right|
  3. 右尾概率$1 - \Phi(|z|)$ 是“比当前证据更极端的单侧概率”，对应钟形曲线最右端的那条细尾巴。
    1−Φ(∣z∣)1 - \Phi(|z|)
  4. 双尾乘2$\times 2$ 把左侧尾巴也补上，因为我们不想预设立场，既警惕新配方变好，也警惕它变差。
    2×(1−Φ(∣z∣))2 \times (1 - \Phi(|z|))

置信区间：给真实差距画个圈

单说“新配方比旧配方高0.3分”，聪明的法官不会满意——0.3分到底靠谱吗？会不会真实值其实是-0.1？于是统计学家提出了更稳重的主张：别只报一个点，给一个范围。就像天气预报不说“明天25℃”，而是说"23~27℃"，置信区间就是给真实差距画的一个可信圈。

置信区间和假设检验其实是一枚硬币的两面：区间若完全落在0的右侧，等价于双尾检验在α水平下显著；若区间包含了0，则意味着证据不足。区间的好处是它同时告诉了你“差异大不大”（位置）和“分析精不精”（宽度），比单个p值信息量丰富得多。法官看区间，一眼就知道该不该翻案。

CI=(xˉ1−xˉ2)±zα/2×SE\displaystyle CI = (\bar{x}_1 - \bar{x}_2) \pm z_{\alpha/2} \times SE
通俗理解：把“点估计”当作靶心，向左右各展开一段“误差臂展”。臂展长度 = 临界值 × 标准误。95%置信区间的意思是：如果这个实验重复做100次，大约有95次画出的区间能套住真实差距。
  1. 点估计$\bar{x}_1 - \bar{x}_2$ 是我们手头样本给出的最佳猜测值，相当于打靶时的靶心。
    xˉ1−xˉ2\bar{x}_1 - \bar{x}_2
  2. 临界值$z_{\alpha/2}$ 对应显著性水平的一半在标准正态分布下的分位点。α=0.05时 $z_{0.025} \approx 1.96$，为什么是1.96？因为要保证中间留下95%的概率区域。
    zα/2=1.96z_{\alpha/2} = 1.96
  3. 标准误$SE$ 是之前算过的分母——抽样误差的刻度，样本量越大SE越小，圈就越窄。
    SE=s12n1+s22n2SE = \sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}
  4. 加减区间$\pm$ 表示向下和向上各伸展开一段，得到区间的下限与上限。
    (下限,上限)(\text{下限}, \text{上限})

样本量估算：需要多少位证人

开庭前，法官最头疼的问题出现了：到底该传唤多少位证人？1位评委说新配方好吃，谁敢信？100位评委都异口同声，那才可信。样本量的选择直接决定了这场“美食审判”是轻率儿戏还是铁证如山。样本量太少，真实差异会被噪声淹没；样本量太多，成本又浪费。统计学家为此发明了“功效分析”。

统计功效（power）是法庭的“破案率”——当真凶存在（H₁为真）时，我们成功识破它的概率，通常要求达到80%或90%。功效越高，需要的证人就越多。而效应量（effect size）则是“凶手留下的痕迹有多明显”：效应越大，需要的证人反而越少。

实践中，我们通常在实验开始前就把样本量算好，而不是跑完再补证人。因为“事后补样本”就像“先射箭再画靶”，会让审判失去公信力。记住：样本量是成本与说服力之间的天平，事前算妥，才能气定神闲。

n=(zα/2+zβ)2×2σ2δ2\displaystyle n = \frac{(z_{\alpha/2} + z_{\beta})^2 \times 2\sigma^2}{\delta^2}
通俗理解：样本量公式像一个“证人预算计算器”。分子里的α与β对应法庭容忍的两类错误，σ²是人群口味本身的波动程度，分母δ²是你要抓住的最小差异。差异越小、噪声越大、要求越严，预算（样本量）就越高。
  1. 第一类错误$z_{\alpha/2}$ 对应“错杀无辜”的容忍度（α），α越小这个z值越大，要求证据越严。
    zα/2z_{\alpha/2}
  2. 第二类错误$z_{\beta}$ 对应“放走真凶”的容忍度（β），β=0.2时功效为80%，z值约0.84；β越小要求功效越高，z值越大。
    zβz_{\beta}
  3. 方差$2\sigma^2$ 是两组共同的总体方差。评委们如果口味众说纷纭，就需要更多证人才能听清“真实差距”。
    2σ22\sigma^2
  4. 效应量$\delta^2$ 是你要检测的最小真实差异的平方。想让法庭不放过一个0.1分的细微差别，可比抓0.5分的大差别难得多。
    δ2\delta^2
  5. 合计分子惩罚“严格标准”，分母回报“明显差异”——整体就是维持审判质量所需的最少证人数。
    n=(zα/2+zβ)2×2σ2δ2n = \frac{(z_{\alpha/2} + z_{\beta})^2 \times 2\sigma^2}{\delta^2}

A/B测试实战：完整审案流程

现在，我们把整套法庭流程搬到真实的A/B测试现场。第一步是立案：明确要审判的“被告”是什么——比如新版推荐算法 vs 旧版推荐算法，审判的“罪名”是“点击率真的提升了吗”。同时要事先写下审判标准：α（通常0.05）、期望功效（0.8）、最小效应量。这些预注册的规则是为了防止事后拍脑袋。

第二步是分配证人：把用户随机分成两组，一组体验旧算法（对照组），一组体验新算法（实验组）。随机分组是公正性的基石——就像抽签决定哪50位评委先吃A菜、哪50位先吃B菜，避免“粉丝多的厨师”占便宜。现实中用哈希分桶或随机数，保证两组在年龄、地域、活跃度等特征上分布均匀。

第三步是庭审与宣判：实验跑够预定的样本量后，计算检验统计量、p值和置信区间，给出最终判决：

最后，宣判时要有风度：哪怕p<0.05，也要看看置信区间下界是否高于业务可接受的最低提升幅度。统计显著只回答“差别是否真实”，业务决策还要问“差别是否值钱”。整套流程严谨走完，A/B测试的结论才能让所有人信服。

结果判定={p<α⇒拒绝 H0:差异显著，新版本胜出p≥α⇒不拒绝 H0:证据不足，维持旧版\displaystyle \text{结果判定} = \begin{cases} p < \alpha & \Rightarrow \text{拒绝 } H_0: \text{差异显著，新版本胜出} \\ p \geq \alpha & \Rightarrow \text{不拒绝 } H_0: \text{证据不足，维持旧版} \end{cases}
  1. 条件分支$p < \alpha$ 表示证据惊悚程度突破了事先划好的红线，具备了“翻案”资格。
    p<αp < \alpha
  2. 拒绝零假设拒绝 $H_0$ 在统计上是“证据足以支持差异真实存在”，但注意这不等于“效果一定很大”。
    拒绝 H0\text{拒绝 } H_0
  3. 证据不足$p \geq \alpha$ 时我们不能“接受H₀”，只能谨慎地说“当前证据不足以证明差异”——就像无罪释放不等于确认清白。
    p≥αp \geq \alpha

常见陷阱：司法冤案如何炼成

再完美的法庭也可能制造冤案——不是法官坏，而是程序出了漏洞。统计学里最著名的冤案制造机有三个，每一个都在真实A/B测试中反复作案。

第一台是“多重比较机”。法官如果同时审判50个互不相关的“罪名”（比如同时监控50个业务指标），即使全都不成立，每个罪名只有5%的概率被误判，但50个罪名里至少出现一个假阳性的概率高达：

第二台是“数据窥探机”。有些团队跑完实验干瞪眼：“p=0.06，差一点点，要不我把α改成0.1吧？”——这就像法官看了证据后才临时降低定罪门槛，必然导致冤案。α必须在实验开始前定死，这是法庭的尊严。第三台是“零结果误判机”：p>0.05时，很多人会得意地宣布“新配方和旧配方完全相同”——不对！统计学只能证明证据不足，不能证明没有效应。正确的说法是：“当前数据量下，未能检测到显著差异。”想证明“没有差异”，需要的是等效性检验，那就是另一场官司了。

牢记这三台机器，你的统计法庭就能守住底线，避免一桩“数据冤案”。

1−(1−0.05)50≈0.923\displaystyle 1 - (1 - 0.05)^{50} \approx 0.923
  1. 单次无罪概率$1 - 0.05$ 是一次审判不出冤案的概率，即95%。
    1−0.05=0.951 - 0.05 = 0.95
  2. 50次全清概率$(1 - 0.05)^{50}$ 是50次审判全部平安无事的概率。
    (1−0.05)50(1 - 0.05)^{50}
  3. 至少一冤概率用1减去上面这个数，得到“50个指标里至少有一个假阳性”的概率——高达92.3%！
    1−(1−0.05)501 - (1 - 0.05)^{50}

AI 应用场景

场景一：推荐算法改版评估

阶段：模型评估与上线

解决的问题：算法工程师训练了新推荐模型，离线指标涨了0.8%，但上线前必须回答“这个提升是真实效果还是离线评测的随机波动”。传统做法是一个人拍板“看起来不错”，容易把噪声当信号。

具体案例：某内容平台将新版召回模型与线上模型做A/B测试，随机分流10万用户跑了两周。用双样本z检验计算点击率差异的p值为0.002，95%置信区间为[0.4%, 1.2%]，下界大于业务要求的0.3%门槛，团队这才放心全量上线。

场景二：大模型Prompt策略对比验证

阶段：模型调优与验证

解决的问题：Prompt工程师设计了新的系统提示词，想证明它比旧Prompt在准确率上有真实提升。由于测试集有限、模型输出有随机性，单次跑分高几个点说服不了评审。

具体案例：某客服机器人团队对1000条真实对话分别用新旧Prompt各推理3次，得到两组准确率样本后做配对检验，p值为0.03。同时计算差值的置信区间[0.5%, 4.1%]，确认提升可信且幅度可接受，最终提交了包含统计显著性的对比报告。

场景三：广告素材点击率实验

阶段：增长实验分析

解决的问题：增长团队设计了两版广告素材，想快速判断新版点击率是否真的更高。如果只凭“点击量多了100次”就换素材，很容易被投放时段、人群差异等噪声欺骗。

具体案例：某电商平台对两版素材各分配5万流量，实验三天后计算点击率差值z值为1.78，p值为0.075，未达到α=0.05显著标准。团队没有冒险上线，而是把实验延长到一周、样本量翻倍后重复验证，最终得到了可靠的结论。

Python 演示

python41 行
import mathimport random  def run_ab_test(ctrl, test, alpha=0.05):    """对两组实验数据做双尾z检验，返回p值与95%置信区间"""    n1, n2 = len(ctrl), len(test)    m1 = sum(ctrl) / n1    m2 = sum(test) / n2    v1 = sum((x - m1) ** 2 for x in ctrl) / (n1 - 1)    v2 = sum((x - m2) ** 2 for x in test) / (n2 - 1)    se = math.sqrt(v1 / n1 + v2 / n2)    if se == 0:        raise ValueError("两组的方差均为0，无法计算标准误")    z = (m2 - m1) / se    p_value = math.erfc(abs(z) / math.sqrt(2))    ci_low = (m2 - m1) - 1.96 * se    ci_high = (m2 - m1) + 1.96 * se    return {        "z": z,        "p_value": p_value,        "ci": (ci_low, ci_high),        "significant": p_value < alpha,    }  def simulate(n_each=200, true_effect=0.3, seed=42):    """模拟A/B测试数据：对照组均值0，实验组均值true_effect"""    random.seed(seed)    ctrl = [random.gauss(0, 1) for _ in range(n_each)]    test = [random.gauss(true_effect, 1) for _ in range(n_each)]    return ctrl, test  if __name__ == "__main__":    ctrl_data, test_data = simulate(n_each=300, true_effect=0.25)    res = run_ab_test(ctrl_data, test_data)    print("z统计量:", round(res["z"], 3))    print("p值:", round(res["p_value"], 5))    print("95%置信区间:", (round(res["ci"][0], 3), round(res["ci"][1], 3)))    print("结果是否显著:", res["significant"])
目的：实现一个极简A/B测试分析器——输入两组用户指标数据，自动完成z检验、p值计算、95%置信区间估计，并输出显著性结论，帮助团队科学判断实验差异是否可靠。
  1. m1 = sum(ctrl) / n1计算对照组均值，作为“旧配方”的水平估计。
  2. v1 = sum((x - m1) ** 2 for x in ctrl) / (n1 - 1)计算样本方差，分母用n1-1得到无偏估计，衡量组内个体波动。
  3. se = math.sqrt(v1 / n1 + v2 / n2)计算差值的标准误，即“随机噪声”的刻度。
  4. z = (m2 - m1) / se计算z统计量，信号除以噪声的“证据强度”。
  5. p_value = math.erfc(abs(z) / math.sqrt(2))用标准正态分布的补余误差函数计算双尾p值。
  6. ci_low = (m2 - m1) - 1.96 * se置信区间下界，α=0.05时临界值取1.96。
  7. "significant": p_value < alpha核心判决：p值小于事先设定的α则判定差异显著。
  8. random.gauss(0, 1)生成服从正态分布的模拟用户数据，方便在不联网的环境下测试全流程。

常见误区

误区我以为只要p值小于0.05，就说明实验组的提升非常可观，可以放心吹嘘“效果显著”了。

正解p值只回答“差异是否真实存在”，完全不回答“差异有多大”。在美食法庭里，p<0.05只是宣布“新配方确实分数更高”，但高0.01分还是高10分，要看效应量或置信区间。大样本能轻易让微小差异变得“显著”，所以拿到p值后一定要看一眼置信区间或Cohen's d。

为何常见：因为“显著”这个词在生活里带“大”的含义，而统计显著只是"statistically significant"的翻译，误导了很多人。

误区实验跑了三周，p=0.09，我就断定“新版和旧版完全没区别”，团队白干活了。

正解p≥α只能说明“现有证据不足以证明有差异”，不等于“证明没有差异”。用无罪推定的逻辑：陪审团说“证据不足，无罪释放”，但凶手可能只是还没被抓到。想证明两组等效，需要专门的等效性检验，并搭配置信区间看真实差异可能落在什么范围内。

为何常见：人们习惯把“不拒绝H₀”理解成“接受H₀”，这是对着课本却仍最容易犯的统计思维错误。

误区算出置信区间[0.2%, 1.5%]后，我觉得真实点击率提升有95%的概率落在这个区间里。

正解真实参数是一个固定但未知的数，不会随概率变化。正确理解是：如果我们重复同样的实验100次，每次画一个区间，大约95次画出的区间会盖住真实值。单看这一次实验，只能说“这个区间由一种有95%置信度的方法构造出来”。就像渔网撒下去，我们说“这网法有95%的次数能捞到鱼”，而不是“这条特定的鱼有95%概率在这张网里”。

为何常见：人们习惯把未知参数当成随机变量，但频率学派的参数是固定常量，随机的是区间本身。

误区实验结果显示p=0.06，差一点点就显著了，要不把α从0.05改成0.1吧？反正都是人为设定的。

正解α必须在实验开始前就锁定，这是假设检验的法定程序。事后改α相当于法官先看证据再决定定罪门槛，会直接破坏结论的可信度。更糟的是，有些人跑完实验后反复挑指标、反复切分时间段找显著，这都属于数据窥探，会让假阳性率暴涨。

为何常见：因为在现实中“接近显著”让人心痒，大脑会自动为“再放宽一点点”找合理化的借口。

误区A/B测试时我盯着20个业务指标看，终于发现其中一个p=0.03，太好了，这版算法有真实效果！

正解每看一个指标就做一次检验，假阳性风险会累积。20个独立指标里至少出现一个假阳性的概率接近2/3。这就好比法官同时审理20个无辜嫌疑人的案子，哪怕每次误判率只有5%，总有一两个倒霉蛋可能要含冤入狱。解决方法是用Bonferroni校正（把α除以20），或者干脆预先只挑1-2个核心指标作为“主审判”。

为何常见：人天生爱找规律，20个指标里挑出最亮眼的一个，会让大脑忘记其他19次失败的尝试。

面试题

Q1. 关于p值的定义，下列说法正确的是

单选题 · easy

  • A.H0为真时出现当前或更极端数据的概率← 正确答案
  • B.H1为真时出现当前数据的概率
  • C.实验效应量的大小
  • D.犯第二类错误的概率

答案：A。p值的标准定义是“在零假设H₀为真的前提下，观测到当前或更极端结果的概率”，选项A准确。B把条件搞反了，C混淆了p值与效应量，D说的是β不是p值。用法庭比喻：p值问的是“假如被告真无罪，这证据有多离奇”。

Q2. 设置α=0.05，若计算得p=0.03，正确结论是

单选题 · easy

  • A.拒绝H0，结果统计显著← 正确答案
  • B.接受H0，结果不显著
  • C.拒绝H1，结果可靠
  • D.无法做出任何统计判断

答案：A。p=0.03小于0.05，落在拒绝域内，所以拒绝零假设、判定结果统计显著。注意我们“拒绝H₀”而非“接受H₁”，就像法庭说“证据足以翻案”，进一步验证用选项B错在p≥α时也不能“接受H₀”。

Q3. 关于第一类错误与显著性水平的关系

单选题 · mid

  • A.第一类错误概率不超过α← 正确答案
  • B.第一类错误概率等于1-α
  • C.第一类错误总是大于α
  • D.第一类错误概率为β

答案：A。第一类错误（假阳性）是H₀为真时却被我们拒绝的概率，控制在α以下。α=0.05意味着我们愿意忍受最多5%的“冤枉好人”概率。1-α是置信度，β是第二类错误概率，B和D都是张冠李戴。

Q4. 关于p值的正确理解包括

多选题 · mid

  • A.p值会受样本量大小的影响← 正确答案
  • B.p值不代表效应量的大小← 正确答案
  • C.p小于0.05意味着实际效果重大
  • D.p值能证明零假设一定为真

答案：AB。样本量越大，同样大小差异的p值越小，A对。p值只衡量证据强度而非差异幅度，B对。C把统计显著当实际显著，D更是彻底误解——p值无法证明H₀为真，就像证据不足不等于清白。

Q5. 95%置信区间的正确理解是

单选题 · mid

  • A.重复抽样时约95%的区间能覆盖真实值← 正确答案
  • B.有95%的数据点落在该区间内
  • C.真实参数有95%概率落在区间内
  • D.区间宽度与样本量没有关系

答案：A。频率学派的正确表述是：按同样方法重复实验，约95%构造出的置信区间会包含真实参数。B混淆了数据分布与参数区间，C把固定参数当随机变量，D错误——样本量增大标准误减小，区间应变窄。

Q6. 增大样本量会带来哪些效果

多选题 · mid

  • A.减小标准误← 正确答案
  • B.提高统计功效← 正确答案
  • C.使p值一定变小
  • D.缩小置信区间宽度← 正确答案

答案：ABD。样本量出现在标准误分母上，所以A和D都对；功效是检测到真实差异的能力，样本越大功率越高，B对。C不一定——若真实效应为0，增加样本只会让p值均匀分布，不会“一定变小”。证人变多证据更可靠，但如果本来无罪，证人再多也定不了罪。

Q7. 效应量很大但p>0.05，最可能的原因

单选题 · hard

  • A.样本量不足导致功效太低← 正确答案
  • B.效应量的计算公式有错误
  • C.零假设必然为真
  • D.实验数据一定被篡改过

答案：A。效应量大说明真实差异明显，但如果样本量太小，标准误会很大，噪声盖过信号导致证据不足。就像大嗓门证人只有一个，仍难敌十个人作伪证。零假设为真时效应量理论上应接近0，所以C不合理；B和D属于过度猜测。

Q8. 在法庭比喻中，第二类错误对应的是

单选题 · easy

  • A.放走真正的凶手← 正确答案
  • B.冤枉无辜的被告
  • C.法官程序操作失误
  • D.证人提供了假证词

答案：A。第二类错误（假阴性β）是“H₁为真却没检测出来”，即真凶确实有罪但证据不足被无罪释放。第一类错误才是冤枉无辜的被告（假阳性）。理解这两类错误是读懂假设检验的第一步。

Q9. 以下属于常见p值滥用行为的是

多选题 · hard

  • A.多重比较后只挑显著的指标← 正确答案
  • B.看了结果再临时调整α← 正确答案
  • C.预先注册样本量和α
  • D.只报p值不报置信区间← 正确答案

答案：ABD。多重比较会膨胀假阳性率，A错；事后调整α是数据窥探，B错；只报p值不报效应量和区间会掩盖实际意义，D错。C是预注册做法，是保证统计结论可信的科学行为，不属于滥用。

Q10. 功效为90%（β=0.1）且α=0.05的双尾检验，样本量公式中正确的z值组合是

单选题 · extreme

  • A.z(0.025)加上z(0.1)← 正确答案
  • B.z(0.05)加上z(0.1)
  • C.z(0.025)加上z(0.9)
  • D.z(0.5)加上z(0.9)

答案：A。双尾检验α=0.05对应单侧尾部0.025，所以第一项是z(0.025)≈1.96；功效90%对应第二类错误β=0.1，所以第二项是z(0.1)≈1.28。两项相加后平方再乘以2σ²/δ²才是所需样本量。B错在用了单尾的0.05，C错在把β当成功效去查表。