小满在街角开了一家奶茶店。三个月前，她研发了一款新配方 B——奶盖更厚、茶底更醇。可老配方 A 卖得好好的，B 到底值不值得全面替换？她把两款奶茶让 200 位顾客盲测打分，结果 B 平均分高 0.4 分。但顾客口味千差万别，今天高兴给五分，明天心情差给两分。这 0.4 分的差距，是真实实力，还是纯粹运气？ 要回答这个问题，不能靠感觉，得靠一套公正的判定流程。统计学家有两套看家本领：t 检验，像一位拿着游标卡尺的严格裁判——先假设两款没差别，再测量这个差距是否大过了随机波动的“噪声”；贝叶斯方法，则像一位边喝边更新判断的品茶师——凭经验先给个直觉（先验），每来一位顾客的评价都在修正看法（后验），最后直接告诉你“B 更好的概率是 97%”。 本文就带着这两套工具，走完从假设检验、方法原理、选型对比到线上监控的完整旅程，让你能真正看懂实验报告，用数据拍板。

岗位关联

掌握显著性检验，你才能用数据说服老板“新模型真的更优”，而不是拍脑袋上线、拍大腿回滚。这是 AI 从业者做效果评估的必备基本功。

目录
  1. 可视化演示
  2. 检验基础：先立“无罪推定”
  3. t检验原理：用噪声做尺子
  4. 贝叶斯方法：边喝边更新信念
  5. 适用条件：尺子也有边界
  6. 方法对比：两位顾问的辩论
  7. 计算步骤：六步走完一次实验
  8. 应用场景：模型监控的常驻裁判
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

A/B测试的结果到底显著不显著需要用统计方法来判定，选错方法可能得出错误结论影响决策。本文对比讲解t检验和贝叶... 切换模式查看不同维度。

本节配有交互动效（进入视口后自动加载，约 3KB）。

A/B测试假：核心原理 动态展示关键流程与数据流动 交互控件调节参数实时渲染 f(x) = transform(x) 核心概念的可视化呈现

检验基础：先立“无罪推定”

小满很清楚，光看平均分不够，因为评委们太不稳定。所以她立下规矩：判案要先讲“无罪推定”。法官不会上来就认定被告有罪，而是先假设“两款奶茶一样好”——这在统计学里叫原假设 H0，除非证据强到几乎不可能只是巧合，才宣判“新配方更好”（备择假设 H1）。

这里的“证据充分”由两个数字把关：显著性水平 α 和 p 值。小满先定 α=0.05，意思是她愿意承担 5% 的“冤枉风险”——也就是当两款其实一样好时，B 被误判为更好。这个风险不像奶茶甜度可以调到刚刚好，它只能被控制，不能归零。

与冤枉对应的还有另一种失误：B 明明更好，却因为数据不够多，没能被识别出来，这叫第二类错误 β。α 与 β 是一对跷跷板：把 α 调得越低，拒绝 H0 越难，β 就越大，越容易漏掉真实改进。1−β 被称作检验功效，是实验设计时想尽量做大的指标。

有了这套“审案流程”，小满至少明白：她不是在求一个绝对真相，而是在控制两种犯错成本。接下来要解决的是——具体拿什么尺子量“证据”？这就要请出 t 检验了。

α=P(拒绝H0∣H0为真),β=P(接受H0∣H1为真)\displaystyle \alpha = P(\text{拒绝}H_0 \mid H_0\text{为真}), \quad \beta = P(\text{接受}H_0 \mid H_1\text{为真})
p 值、α、β 是三个不同的“风险账本”，别混为一谈。
  1. 条件概率记号P(A|B) 表示“在 B 成立的条件下，事件 A 发生的概率”。
    P(A∣B)P(A \mid B)
  2. 第一类错误 α两款无差异却拒绝 H0，像“冤枉”了好配方；默认控制在 0.05。
    α=P(拒绝H0∣H0为真)\alpha = P(\text{拒绝}H_0 \mid H_0\text{为真})
  3. 第二类错误 β新配方确实更好却接受 H0，像“漏判”了真改进；1−β 是检验功效。
    β=P(接受H0∣H1为真)\beta = P(\text{接受}H_0 \mid H_1\text{为真})

t检验原理：用噪声做尺子

小满找来 40 位顾客，20 位喝 A、20 位喝 B。A 平均 7.2 分，B 平均 7.6 分，差 0.4 分。问题是顾客之间差异极大，A 组内部从 4 分到 10 分都有。如果把 0.4 分的差距直接当真，等于把小溪当成大浪。

t 检验的思路是：把均值差除以“这个差值正常该有多大的波动”，后者的学名叫标准误，本质是一把噪声的尺子。类比来看：今天销量比昨天多 5 杯——如果平时上下波动就有 20 杯，这 5 杯不算新闻；如果平时只波动 2 杯，那 5 杯就是大事。

t 值越大，说明信号相对噪声越强。得到 t 值后，根据自由度（由样本量决定）找到对应的 t 分布，就能算出 p 值：即在“两款一样好”的假设下，观察到 |t| 这么大或更大的概率。p 越小，证据越强。

对小满来说，p=0.021 的潜台词是：如果 A、B 真的没区别，光靠随机波动几乎不可能出现这么大的分差（约有 2.1% 的可能性），所以这 0.4 分不是运气。t 检验给了她一个干脆的结论：判 B 胜出。

t=xˉA−xˉBsA2nA+sB2nB\displaystyle t = \frac{\bar{x}_A - \bar{x}_B}{\sqrt{\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}}}
t 值本质是“信号 ÷ 噪声”的比值，t 值越大，差距越不像随机波动。
  1. 分子（信号）两组样本均值的差，代表 B 相对 A 的原始优势。
    t=xˉA−xˉBt = \bar{x}_A - \bar{x}_B
  2. 分母（噪声）均值差的标准误，由两组各自方差和样本量合成，刻画估计本身有多不稳。
    SE=sA2nA+sB2nB\text{SE} = \sqrt{\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}}
  3. 合成比值信号除以噪声，得到标准化的 t 值，再查 t 分布得到 p 值。
    t=信号噪声t = \frac{\text{信号}}{\text{噪声}}

贝叶斯方法：边喝边更新信念

可小满的合伙人老周不服气：“你就给我一个显著或不显著的 0/1 判决，我哪知道 B 到底比 A 好多少？”这时贝叶斯方法登场——它不搞二元判决，而是像一位边喝边更新判断的品茶师：每尝一口，都会在原有印象上微调一点。

做实验前，小满根据三年开店经验，先给“B 更好”一个先验判断——比如六成把握。每收一批顾客评分，就用这批数据更新一次后验判断：六成变成七成，七成变成九成。数据越多，先前直觉的影响越弱，数据的声音越响。

贝叶斯定理干的就是这件事：把先验与数据（似然）相乘，再归一化，得到后验。对转化率这类“成功/失败”指标（比如 1000 次曝光里有 80 次点击），贝叶斯还有一个漂亮的特例：如果先验取 Beta(α,β)，那么数据到达后后验仍是 Beta，只是参数变为 α+y 与 β+n−y，这种性质叫共轭，意味着不需要跑复杂的数值计算，直接套公式就能更新。

对决策者而言，贝叶斯输出的是“分布”而不是“判决”：B 更好的后验概率是 97%，提升幅度最可能落在 0.3%~2.5% 之间。小满终于可以回答老周：不是简单赢或输，而是赢多少、有多确定。

P(θ∣D)=P(D∣θ)×P(θ)P(D)\displaystyle P(\theta \mid D) = \frac{P(D \mid \theta) \times P(\theta)}{P(D)}
贝叶斯定理像“直觉 + 证据 → 更靠谱的判断”：先验是起点，数据是证据，后验是结论。
  1. 先验 P(θ)实验前对参数 θ（如 B 的真实转化率）的初始信念，可以来自历史经验。
    P(θ)P(\theta)
  2. 似然 P(D|θ)在给定 θ 下，看到当前这批数据的概率，代表数据对参数的“评价”。
    P(D∣θ)P(D \mid \theta)
  3. 归一化常数 P(D)保证所有可能的后验概率加起来等于 1，相当于一个缩放因子。
    P(D)P(D)
  4. 后验 P(θ|D)融合先验与数据后的最终信念，是决策的直接依据。
    P(θ∣D)P(\theta \mid D)

适用条件：尺子也有边界

再准的尺子都有适用边界。量体温用体温计，量牛奶用量杯，你要是拿温度计去量奶茶杯的深浅，读数再漂亮也白搭。t 检验这把尺子也有它的前提条件。

第一个前提是独立性。同一个顾客的两次打分、同一个用户被同时分进 A/B 两组并重复计算，都会破坏独立性，导致噪声被低估、p 值假性偏低。小满让每位顾客只喝一杯、只评一次。

第二个前提是数据的近似正态性。好消息是中心极限定理保证：当样本量足够大（经验上每组 n≥30）时，样本均值不管原始分布长什么样都会逼近正态。对转化率这种 0/1 数据，只要每组曝光量达到几百，均值就能用正态近似；但若样本太少、分布严重偏斜，就要考虑非参数检验。此外，Welch 版 t 检验不要求两组方差相等，比经典 Student 版更稳健，这也是 scipy 默认推荐的形式。

小满把规矩贴在吧台：样本要独立、样本量要够、别硬用。这样 t 检验给出的 p 值才真正值得信赖。

xˉ→n→∞N(μ, σ2n)\displaystyle \bar{x} \xrightarrow{n \to \infty} N\left(\mu,\ \frac{\sigma^2}{n}\right)
中心极限定理是 t 检验的“免死金牌”：样本量足够大时，均值近似正态，原始分布不完美也能用。
  1. 均值收敛到正态随着样本量 n 增大，样本均值的分布越来越接近钟形的正态分布。
    xˉ→n→∞N(⋅)\bar{x} \xrightarrow{n \to \infty} N(\cdot)
  2. 期望为 μ样本均值的中心就是总体均值，不偏不倚。
    E[xˉ]=μE[\bar{x}] = \mu
  3. 方差为 σ²/n样本量越大，均值波动越小，估计越精确。
    Var[xˉ]=σ2n\text{Var}[\bar{x}] = \frac{\sigma^2}{n}

方法对比：两位顾问的辩论

晚上打烊后，小满请来两位顾问。频率派顾问抱住 t 检验表说：“给我足够样本，我给你一个干净利落的判决：显著或不显著。”贝叶斯顾问摆摆手：“非黑即白太粗暴。我更愿意告诉你，B 赢的概率是 97%，而且优势区间在 0.3%~2.5%。”

两种思路的分歧根源就在前面的公式里：t 检验先假设 H0 为真，然后看数据有多突兀；贝叶斯则给参数 θ 本身一个概率分布，把“B 更好”的结论直接算出来。因此 p 值回答的是“看到这种极端数据的概率”（在无差异假设下），而后验概率回答的是“B 确实更好的概率”——前者不是后者的反面，很多统计惨案都源自混淆二者。

选型上两者各有所长：t 检验只需设定 α，实现简单、行业接受度高，适合上线前的一次性定型实验；贝叶斯需要指定先验，但支持边收集数据边更新，适合需要持续决策的场景，输出也更贴合业务语言。样本量足够大时，先验的影响趋近于零，两者的结论通常一致。

小满最终没有二选一，而是让两位顾问做交叉验证：t 检验把关“能不能说显著”，贝叶斯把关“赢多少、多确定”。决策，从此既干脆又有余地。

t检验： p<α⇒拒绝H0;贝叶斯： P(θB>θA∣D)>0.95⇒选B\displaystyle \text{t检验：}\ p < \alpha \Rightarrow \text{拒绝}H_0; \qquad \text{贝叶斯：}\ P(\theta_B > \theta_A \mid D) > 0.95 \Rightarrow \text{选}B
两种方法都在回答“要不要换配方”，只是 t 检验给二元开关，贝叶斯给概率仪表盘。
  1. t 检验判决p 值小于事先定好的 α（如 0.05）就拒绝 H0，二元输出。
    p<α⇒拒绝H0p < \alpha \Rightarrow \text{拒绝}H_0
  2. 贝叶斯判决计算 B 组参数大于 A 组参数的后验概率，超过阈值（如 0.95）才选 B。
    P(θB>θA∣D)>0.95P(\theta_B > \theta_A \mid D) > 0.95
  3. 两者的关系t 检验回答“差异是不是巧合”，贝叶斯回答“B 赢的概率多大”，信息量不同。
    巧合概率≠赢的概率\text{巧合概率} \neq \text{赢的概率}

计算步骤：六步走完一次实验

决定动手后，小满把过程像做奶茶的标准作业流程一样固定下来：选茶底、定甜度、搅拌、试喝、登记。对应到 A/B 实验，就是六个步骤：定指标、定风险、随机分流、收集数据、核算、解读。

第一步，确定核心指标（如转化率或好评率），明确期望观察的差异方向；第二步，设定 α=0.05 和期望的检验功效；第三步，用随机分流保证两组可比——小满把顾客按到店顺序交替分到 A 组和 B 组，避免“上午来的爱尝鲜”这类系统性偏差。

第四步，检查独立性、样本量是否足够；第五步，计算结果——手工算自由度略繁琐，Welch 自由度公式的意义在于它不假设两组方差相等；现实中大部分工具（如 scipy 的 ttest_ind）会自动处理。第六步，解读结论：p<α 拒绝 H0，同时报告均值差和置信区间，而不是只丢一个 p 值。

小满把六步印成检查清单贴在工位，从此每次实验都像按配方出餐——流程稳定，结论才稳定。

ν=(sA2nA+sB2nB)2(sA2/nA)2nA−1+(sB2/nB)2nB−1\displaystyle \nu = \frac{\left(\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}\right)^2}{\frac{(s_A^2/n_A)^2}{n_A - 1} + \frac{(s_B^2/n_B)^2}{n_B - 1}}
Welch 自由度公式是“方差不齐也能用 t 检验”的关键，它修正了分布形状，让 p 值更可信。
  1. 分子两组标准误之和的平方，对应均值差估计量的方差。
    (sA2nA+sB2nB)2\left(\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}\right)^2
  2. 分母把方差贡献按各自的 n−1 分摊，修正两组样本量不等带来的偏差。
    (sA2/nA)2nA−1+(sB2/nB)2nB−1\frac{(s_A^2/n_A)^2}{n_A - 1} + \frac{(s_B^2/n_B)^2}{n_B - 1}
  3. 结果 ν近似自由度，决定用哪一条 t 分布曲线去计算 p 值。
    ν=分子分母\nu = \frac{\text{分子}}{\text{分母}}

应用场景：模型监控的常驻裁判

新产品上线不是终点。小满在 B 正式上架后，每天营业结束都会看一眼当天的好评率趋势——这与 AI 团队上线新模型后每天盯的 CTR、准确率、延迟监控是同一件事。区别只是：监控要连续作战，不能等攒够两周数据再做一次 t 检验。

这正是贝叶斯方法的主场。设转化率为 θ，先验取 Beta(α,β)，从实验第一秒起，每天都有新数据 y_t 到达，后验就更新一次：Beta(α+y_t, β+n_t−y_t)。后验均值就是当前对“真实转化率”的最佳估计，它会随着数据积累越来越稳定。

以排序模型为例：新模型小流量灰度一周，点击率 8.2%，旧模型 7.9%。第四天时后验概率 P（新模型更优）=89%，未破阈值，继续观察；第七天升至 97.5%，超过 0.95 的放量线，系统自动把流量从 10% 扩到 50%。如果某天后验概率跌破 0.05，立即回滚。这比“攒 14 天、跑一次 t 检验、要么上要么下”更敏捷，也更少误伤线上体验。

上线前的“定型判决”仍离不开 t 检验——就像实验要写进报告给老板签字，最好用行业公认的标准格式。两种方法，一个管冲刺判定，一个管长跑监控，配合起来，小满的店和你的模型，都能在波动中走稳。

θ^t=α+ytα+β+nt\displaystyle \hat{\theta}_t = \frac{\alpha + y_t}{\alpha + \beta + n_t}
后验均值是“先验直觉”和“观测数据”的加权平均：样本越多，越听数据的话。
  1. 分子先验的成功数 α 加上累计成功数 y_t，代表“证据 + 经验”的总成功数。
    α+yt\alpha + y_t
  2. 分母先验强度 α+β 加上总样本量 n_t，代表“经验 + 证据”的总规模。
    α+β+nt\alpha + \beta + n_t
  3. 加权平均含义后验均值本质上在先验均值与观测转化率之间取加权折中。
    θ^t=α+ytα+β+nt\hat{\theta}_t = \frac{\alpha + y_t}{\alpha + \beta + n_t}

AI 应用场景

推荐系统灰度期的贝叶斯持续监控

阶段：模型监控（上线后灰度期）

解决的问题：传统做法是攒够样本后一次性跑 t 检验，对上线后的突发衰退反应迟钝；贝叶斯序贯更新可以每天给出“新模型更优”的概率，按阈值自动放量或回滚，把人工盯盘的滞后性降到最低。

具体案例：某电商的推荐排序模型以小流量灰度上线，点击率用 Beta-Binomial 建模，每日更新后验概率。第 3 天 P=0.71，未达放量线继续观察；第 7 天 P=0.973，超过 0.95 阈值自动放量至 50%；第 9 天 CTR 骤降，P 跌破 0.05，系统自动回滚并告警。整个决策链路无需人工干预。

实验平台的自动化 t 检验报表

阶段：实验评估（上线前定型实验）

解决的问题：手工计算 t 值、p 值效率低且易错；平台化之后，分析师只需选择指标，系统自动完成 Welch t 检验并输出标准化报告，避免“人肉统计”带来的口径混乱。

具体案例：某数据平台在实验分析模块接入 scipy.stats.ttest_ind，实验结束后自动输出 t 值、p 值、均值差和 95% 置信区间，并在 p<0.05 时标注“建议放量”，产品经理据此在评审会上直接拍板，实验周期从一周缩短到一天。

风控模型替换前的显著性验证

阶段：模型评估（决策类模型上线）

解决的问题：风控模型的改动会直接影响拒绝率和坏账率，必须严格验证指标差异是否显著，避免把随机噪声当成模型收益。

具体案例：风控团队用 30 天样本对比新旧模型在逾期率上的差异，跑 Welch t 检验得 p=0.012，确认逾期率下降并非随机波动，才提交上线申请；同时用贝叶斯后验区间评估下降幅度的不确定性，在评审会上回答“到底降了多少”的问题。

Python 演示

python24 行
import numpy as npfrom scipy import stats# 模拟 A/B 实验: A 组转化率 10%, B 组 11.5%, 每组 2000 个用户rng = np.random.default_rng(42)n_a, n_b = 2000, 2000a = rng.binomial(1, 0.10, n_a)b = rng.binomial(1, 0.115, n_b)# 1. Welch t 检验(不要求方差齐性)t_stat, p_value = stats.ttest_ind(a, b, equal_var=False)print("Result: t = %.3f, p = %.4f" % (t_stat, p_value))if p_value < 0.05:    print("Conclusion: significant, new model is better")else:    print("Conclusion: fail to reject H0, evidence insufficient")# 2. 贝叶斯 Beta-Binomial 方法(均匀先验 Beta(1,1))alpha_prior, beta_prior = 1, 1post_a = stats.beta(alpha_prior + a.sum(), beta_prior + n_a - a.sum())post_b = stats.beta(alpha_prior + b.sum(), beta_prior + n_b - b.sum())draw_a = post_a.rvs(100000, random_state=42)draw_b = post_b.rvs(100000, random_state=42)prob = (draw_b > draw_a).mean()print("Bayesian: P(B > A) = %.3f" % prob)lo, hi = np.percentile(draw_b, [2.5, 97.5])print("Bayesian: 95%% credible interval of B = [%.3f, %.3f]" % (lo, hi))
目的：同一份 A/B 实验数据，先用 t 检验给出 p 值，再用贝叶斯方法给出“B 更优”的后验概率和可信区间，对照两种显著性检验的解读差异。
  1. a = rng.binomial(1, 0.10, n_a)模拟 2000 个用户各自是否转化，1 表示转化，总体转化率约 10%。
  2. stats.ttest_ind(a, b, equal_var=False)一行完成 Welch t 检验：不假设方差相等，返回 t 值和 p 值。
  3. if p_value < 0.05:用事先定好的显著性水平 α=0.05 做二元判决，p 小则拒绝原假设。
  4. stats.beta(alpha_prior + a.sum(), beta_prior + n_a - a.sum())构造 Beta 后验分布：先验参数加上观测到的成功数与失败数。
  5. post_b.rvs(100000, random_state=42)从后验分布采样 10 万个点，用采样近似“分布上的积分”。
  6. (draw_b > draw_a).mean()统计“B 转化率大于 A”的采样占比，这就是后验概率 P(B>A)。
  7. np.percentile(draw_b, [2.5, 97.5])取后验的 2.5% 与 97.5% 分位数，得到 95% 可信区间。

常见误区

误区p=0.02，说明“两款奶茶没区别”这件事的概率只有 2%，可以放心换配方了。

正解p 值的定义是“假设 H0 为真，看到当前这么极端数据（或更极端）的概率”，即 P（数据|无差异），而不是 P（无差异|数据）。要得到后者，得用贝叶斯后验。两者数值和含义都不等价。好比法官先假定无罪，然后说“如果被告无罪，出现这组证据的概率只有 2%”——这并不能反推出“被告有罪的概率是 98%”。

为何常见：条件概率的方向太容易搞反，加上科普文章常把 p 值简写成“错误的概率”，强化了错误直觉。

误区p<0.05 说明新配方真的比旧配方好很多，可以立即全量替换。

正解统计显著只说明“差异不太可能是随机波动”，完全不说明差异有多大。样本量足够大时，0.01 分的差距也能得到 p<0.05。要看商业意义，必须同时报告均值差和置信区间，或改用贝叶斯后验区间。拿 10 万人试喝，B 平均分只高 0.01 分且 p=0.01——统计上显著，但顾客根本尝不出来，上不上全由成本说了算。

为何常见：“significant“在英文中兼有”显著的“和”统计显著的“两种含义，直译过来就让很多人把”显著“误当成”重要、有效”。

误区贝叶斯方法的结论依赖先验，先验是主观的，所以结果不可信，不如 t 检验客观。

正解先验可以来自历史数据、行业基准或专家经验，也可以取弱先验（如 Beta(1,1)）让数据主导。样本量越大，先验影响越小，大样本下贝叶斯与频率派结论通常一致。t 检验也并非绝对客观——α=0.05 本身就是一个约定俗成的选择。老店长的初始直觉也许不准，但收集到 100 条新评价后，他的判断会自然回到数据本身。

为何常见：把“先验是主观输入”误当成“结论完全主观”，忽略了贝叶斯公式中数据对后验的强约束。

误区先跑 Levene 或 F 检验，方差不齐就不能用 t 检验，只能换非参数方法。

正解现代统计实践推荐直接使用 Welch t 检验（scipy 的 ttest_ind 默认正是这个版本），它不假设两组方差相等，在多数场景下比“先检验齐性再决定”更稳健。只有在方差悬殊且样本极小时，才需要考虑非参数检验。与其先花力气证明“两把尺子刻度一致”，不如直接用一把刻度不一致时也能用的尺子。

为何常见：旧版教材和部分统计软件的经典默认值留下的惯性，让“方差齐性检验”成了很多人的条件反射。

面试题

Q1. A/B 检验中，原假设 H0 通常设定为？

单选题 · easy

  • A.新版本效果显著优于旧版本
  • B.新旧版本效果没有差异← 正确答案
  • C.新版本效果显著劣于旧版本
  • D.样本数据服从正态分布

答案：B。H0 永远是“没有效果、没有差异”，这是统计检验的“无罪推定”原则——先假设两款配方一样好，除非证据足够强才拒绝。A、C 把新版本效果当作假设，方向弄反；D 把正态性假设当成了原假设本身，概念混淆。

Q2. p 值 < 0.05 的正确含义是？

单选题 · easy

  • A.原假设为真的概率低于5%
  • B.无差异假定下看到此数据的概率← 正确答案
  • C.新版本提升的概率超过5%
  • D.实验抽样误差的概率为5%

答案：B。p 值是在 H0 成立的前提下，观察到当前结果或更极端结果的概率。p=0.02 不是说 H0 为真的概率是 2%，后者要由贝叶斯后验给出。这就像先假定被告无罪，再问“如果无罪，这组证据有多罕见”——证据罕见并不等于有罪概率高。

Q3. t 统计量公式中，分母代表什么？

单选题 · mid

  • A.两组均值之差的标准误← 正确答案
  • B.两组样本的合并方差
  • C.两组样本的均值之差
  • D.两组总体方差的比值

答案：A。分母是两组均值差的标准误，它综合了两组方差与样本量，刻画“均值差这个估计本身有多不稳”。分子是信号，分母是噪声，t 值就是信号噪声比。B 只提到方差漏了样本量；C 其实是分子；D 与公式无关。

Q4. 第一类错误（α）的含义是？

单选题 · mid

  • A.新版本确实更好却被判为无差异
  • B.新旧版本无差异却被判为新版更好← 正确答案
  • C.样本量不足导致抽样出现偏差
  • D.数据不满足正态分布造成的偏差

答案：B。第一类错误是“冤枉”：H0 为真（两款无差异）却拒绝 H0（判定 B 更好），概率记为 α，由显著性水平控制。A 描述的是第二类错误 β；C、D 属于实验设计与假设违背问题，不属于两类错误的定义范畴。

Q5. Welch t 检验与经典 Student t 检验的核心区别是？

单选题 · mid

  • A.Welch不要求两组样本量相同
  • B.Welch不假设两组方差相等← 正确答案
  • C.Welch不需要数据近似正态
  • D.Welch使用z分布而非t分布

答案：B。Welch t 检验通过 Satterthwaite 自由度修正，去掉了方差齐性假设，scipy 的 ttest_ind 默认采用它。样本量不同从来不是 t 检验的前提，A 错；C 错在 t 检验仍要求均值近似正态；D 错在它用的还是 t 分布。

Q6. 贝叶斯 A/B 测试相比 t 检验的优势有？

多选题 · mid

  • A.可以直接给出新版本更好的概率← 正确答案
  • B.支持数据到达后持续更新后验← 正确答案
  • C.无需任何先验假设即可计算
  • D.对实际提升幅度给出可信区间← 正确答案

答案：ABD。贝叶斯方法直接输出“B 更优”的后验概率（A），天然支持序贯更新（B），还能用后验分布给出提升幅度的可信区间（D）。但 C 说反了：贝叶斯必须指定先验，只是可以选弱先验来减少影响。答案选 A、B、D。

Q7. 某实验每组 1 万人，p=0.04，转化率提升仅 0.02 个百分点，最佳决策是？

单选题 · hard

  • A.立即全量上线新版本
  • B.结合业务成本与效应量决策← 正确答案
  • C.重复实验以进一步验证
  • D.拒绝新版本并继续用旧版

答案：B。p<0.05 只说明“差异不像随机波动”，不说明差异有业务价值。2 万样本下 0.02 个百分点的提升，统计显著但生意上无感，应结合效应量、置信区间和成本综合判断。A 忽略效应量；C 重复实验不解决本质问题；D 只看 p 值否定差异同样片面。

Q8. 关于 p 值与置信区间，正确的理解是？

多选题 · hard

  • A.置信区间包含0则p不小于0.05← 正确答案
  • B.p值越小说明效应量越大
  • C.置信区间反映效应量的不确定性← 正确答案
  • D.p值与样本量大小完全无关

答案：AC。对均值差的置信区间若包含 0，说明无法排除“无差异”，此时双侧 p≥0.05，A 对。置信区间给出效应量不确定性的范围，C 对。p 值受样本量与效应量共同影响：p 小不一定效应大（B 错）；样本越大 p 越容易小（D 错）。选 A、C。

Q9. 贝叶斯后验 Beta(α+y, β+n−y) 中，α+β 的作用是？

单选题 · hard

  • A.代表先验分布的均值大小
  • B.代表先验的伪样本量强度← 正确答案
  • C.表示实验所需的样本量
  • D.表示两组样本的方差之比

答案：B。在 Beta 先验中，α、β 相当于先验里“伪样本”的成功数与失败数，α+β 表示先验强度：越大，后验越不容易被头几条小样本数据撼动。A 说的是先验均值 α/(α+β)，C、D 与含义不符。可以类比为：老店长的经验越丰富，个别顾客的极端评价越难动摇他的判断。

Q10. 关于贝叶斯方法与频率派方法的比较，正确的说法是？

多选题 · extreme

  • A.贝叶斯将未知参数视为随机变量← 正确答案
  • B.频率派将参数视为固定但未知← 正确答案
  • C.大样本下两者结论通常趋于一致← 正确答案
  • D.贝叶斯永远不需要对数据建模

答案：ABC。两派最根本的分歧在参数观：贝叶斯把 θ 视为随机变量并用分布刻画不确定性（A 对），频率派把 θ 视为固定但未知的常数（B 对）。样本量增大时先验影响趋零，两者结论趋于一致（C 对）。D 错误——贝叶斯同样需要构造似然函数 P(D|θ)，也就是对数据分布建模。选 A、B、C。