小美在街角开了一家奶茶店，招牌配方卖了两年，街坊都喝成了习惯。年底研发部门端来一杯新配方，说口感更醇厚、原料成本还低 15%。小美心动了，又害怕：万一老顾客不买账，招牌可就砸了。该怎么决定？ 最原始的做法是拍脑袋：先让几个熟客免费试喝。可熟客碍于情面，多半会说“不错不错”，数据再好看也靠不住。灰度发布和 A/B 测试，就是给“要不要换新配方”装上一套科学仪表盘——灰度发布回答“怎么换”：先让 10% 的顾客喝到新配方，观察无恙再扩到 50%，最后全量；A/B 测试回答“换得值不值”：一部分顾客喝新配方、一部分继续喝老配方，收集复购数据，用统计工具判断差异是真实还是运气。灰度是路径，A/B 是判断，两者合起来，就是 LLM 上线的科学决策。

岗位关联

掌握灰度发布与 A/B 测试，是 LLM 工程师从“凭感觉上线”走向“用数据说话”的分水岭——用科学实验保护用户体验，也用真实数据推动模型持续进化。

目录
  1. 可视化演示
  2. 实验设计
  3. 流量分桶
  4. 核心指标
  5. 显著性检验
  6. 灰度流程
  7. 科学决策
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

动态演示灰度与A/B测试的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

灰度与A/B测试：实验设计 实验设计与假设设定方法 流量分桶与实验分组策略 核心机制可视化 灰度与A/B测试整体架构与关键组件

实验设计

小美得先想清楚一个问题：什么叫“新配方更好”？是喝起来更甜？还是顾客愿意为它多排十分钟队？如果连“更好”都没定义清楚，后面收集的所有数据，都只是一堆无法判断好坏的零散数字。她拿出笔记本，在第一页写下：这一仗，到底打什么。

A/B 测试把这步叫作实验设计，是整个实验的地基。地基没打好，后面跑得再热闹也是白费。实验设计要做三件事：问题定义、假设设定、指标预选。对应到 LLM 上线，问题定义就是明确“新模型相对线上版本要优化什么”；假设设定是写出统计假设；指标预选则要挑出主指标和护栏指标。

统计假设是实验的灵魂。要写出两个假设：原假设 H0 和备择假设 H1。H0 永远是“无差异或变差”，H1 才是我们想证明的“新版本更好”。注意统计检验用的是反证法逻辑——我们默认 H0 成立，只有收集到足够强的证据才能拒绝它。这不是刁难，而是为了防止我们被“感觉”骗了。同时，指标必须是实验开始前定好的。实验后挑指标，就像考完试再画重点，怎么看都舒服，但说服不了任何人。

小美在笔记本上郑重写下：原假设——新老配方的复购率一样；备择假设——新配方复购率更高；观察指标——两周复购率。这张纸她贴在收银台后面，提醒自己后面每一步都别跑偏。

H0:μnew=μoldvsH1:μnew>μoldH_0: \mu_{new} = \mu_{old} \quad \text{vs} \quad H_1: \mu_{new} > \mu_{old}
原假设假定新旧版本的真实核心指标相同，备择假设则认为新版本更高；实验要做的是寻找足够证据来推翻原假设。
  1. 原假设 H0先假定新配方和老配方的真实复购率一样。注意 μ 表示“真实值”，我们永远无法直接看到它，只能通过样本估计。H0 像法庭上的“无罪推定”：先假定没差别，由数据来翻案。
    H0:μnew=μold\displaystyle H_0: \mu_{new} = \mu_{old}
  2. 备择假设 H1H1 是我们要支持的结论——新配方复购率更高。箭头方向取决于业务目标：若担心新配方变差，则用双侧 H1（μnew ≠ μold）。这里选“大于号”，因为我们只关心“是否更好”。
    H1:μnew>μold\displaystyle H_1: \mu_{new} > \mu_{old}
  3. μ 的含义μ 是对应指标在全部用户中的期望值，样本均值 x̄ 是它的估计量。n 越大，x̄ 越收敛到 μ，这就是大数定律给实验的底气。
    μ≈xˉ=1n∑i=1nxi\displaystyle \mu \approx \bar{x} = \frac{1}{n} \sum_{i=1}^{n} x_i

流量分桶

实验开始那天，小美把客人分成两拨：A 组喝老配方，B 组喝新配方。可怎么分才能公平？如果早上的客流全去了 B 组，下午的客流全留在 A 组，那复购率的差异就成了“时间段差异”，而不是配方差异。

流量分桶要解决的就是“公平分组”问题。常用的方案是哈希分桶：对用户 ID 做哈希运算，再对 100 取模，得到的数决定用户进哪个组。它的核心优点是稳定——同一个用户每次来，都在同一个实验组，不会今天喝新配方、明天喝老配方，把数据搅浑。

哈希分桶之外，还要做两类隔离：实验层隔离和链路隔离。实验层隔离是指不同业务的实验（推荐算法、文案生成、排序策略）跑在不同的“层”，互不占流量；同层内的实验则严格切分，保证一个用户在一个层里只属于一个实验。链路隔离则要求新旧版本不共享可变状态，比如新模型的缓存和旧模型的缓存要分开，避免相互污染。分桶 ID 的选择也有讲究：多端用户最好按 user_id 而非 device_id 分桶，否则同一用户在手机和电脑上会被分到不同组。

小美在收银系统里给每个会员发了一个编号，哈希后决定这杯用哪个配方。上午下午、熟客新客都被均匀摊开，谁也不偏袒——这就是她能放心对比两组数据的前提。

bucket=hash(user_id) mod 100\text{bucket} = \text{hash}(\text{user\_id}) \bmod 100
将用户 ID 哈希后映射到 0~99 的桶中，再按阈值划分实验组与对照组，实现稳定、均匀的随机分组。
  1. 哈希函数把用户 ID 变成看似随机的整数。同一 ID 哈希结果永远相同，这是“稳定”的来源。
    h=hash(user_id)\displaystyle h = \text{hash}(\text{user\_id})
  2. 对 100 取模把哈希值压缩到 0~99 的区间，得到桶号。只要哈希分布均匀，每个桶的用户量就大致相同。
    bucket=h mod 100\displaystyle \text{bucket} = h \bmod 100
  3. 阈值分组需要 10% 实验组时，判断 bucket < 10。调整放量比例只需改阈值，不需要重新分桶。
    group={实验组bucket<10对照组bucket≥10\displaystyle \text{group} = \begin{cases} \text{实验组} & \text{bucket} < 10 \\ \text{对照组} & \text{bucket} \geq 10 \end{cases}

核心指标

两周过去，小美的收银台攒了一大堆数据：营业额、杯数、好评、投诉、复购。哪个才是判断新配方的关键？营业额受天气和周末影响太大；好评容易被“顺手五星”灌水；复购率最贴近“顾客是否真心喜欢”。

实验指标要分三层：北极星指标是这次实验唯一的主角，所有判断都以它为准；次级指标提供辅助视角；护栏指标守护底线。LLM 场景的北极星指标通常是“回答采纳率”或“任务完成率”，护栏指标则包括“响应时延”“用户投诉率”“推理成本”。护栏指标不参与胜败判定，但拥有一票否决权。

统计口径是另一个容易翻车的点。两组必须用完全一致的埋点逻辑、窗口期和聚合公式，否则对比就没有意义。比如一组统计“点击后 30 秒内的行为”，另一组统计“点击后 5 分钟内的行为”，出来的差异其实是口径差异，不是模型差异。最终汇报效果时，通常用提升比 lift：比起对照组，实验组相对提升了百分之几。lift 能消除基线差异，让不同实验之间可以横向比较。

小美盯着三个数：复购率是北极星，好评率是辅助，投诉率是护栏。新配方复购率从 30% 涨到 36%，lift 高达 20%，看着喜人；但投诉率也悄悄涨了一个点——有老顾客留言“太甜了”。这个信号她记在了心里。

lift=μexp−μctrlμctrl×100%\text{lift} = \frac{\mu_{exp} - \mu_{ctrl}}{\mu_{ctrl}} \times 100\%
提升比表示实验组相对对照组的相对增长率。若对照组复购率 30%、实验组 36%，则 lift = 20%。
  1. μ_exp 和 μ_ctrl分别是实验组和对照组核心指标的真实均值。实际计算中用样本均值 x̄ 代替。
    μexp≈xˉexp,μctrl≈xˉctrl\displaystyle \mu_{exp} \approx \bar{x}_{exp}, \quad \mu_{ctrl} \approx \bar{x}_{ctrl}
  2. 绝对差异两组均值之差 Δ。它告诉我们在百分点上差了多少。
    Δ=μexp−μctrl\displaystyle \Delta = \mu_{exp} - \mu_{ctrl}
  3. 相对化除以对照组均值，把绝对差转成百分比。这样 30%→36% 与 60%→66%，虽然都是 6 个百分点，但前者是 20% 提升，后者只有 10%——基数不同，意义不同。
    lift=Δμctrl×100%\displaystyle \text{lift} = \frac{\Delta}{\mu_{ctrl}} \times 100\%

显著性检验

实验组 36%、对照组 30%，小美心里却打鼓：万一只是这周下雨，恰好多来了一批爱喝甜的顾客呢？数据差异到底是新配方的功劳，还是纯粹的运气？

显著性检验就是用来回答“是功劳还是运气”的。它的核心思想是反证：先假设两组其实没有差异，然后计算——在“没有差异”的前提下，观察到当前这么大差异的概率是多少？这个概率就是 p 值。如果 p 值小于 0.05，说明“纯靠运气”的可能性不到 5%，我们愿意相信差异是真的。

针对不同指标要选不同的检验方法。比例型指标（转化率、采纳率）用双样本 z 检验；连续型指标（时延、评分）用 t 检验。两种方法的逻辑相同：计算一个标准化的统计量，分子是两组均值差，分母是差值的标准误。标准误刻画了均值差的抽样波动——样本越大、方差越小，标准误越小，微小的真实差异也能被探测到。因此在实验开始前，就要用最小样本量公式估算需要的用户数，否则跑两周也可能什么都没测出来。报告结果时，除了 p 值还应给出置信区间，它告诉你真实提升量大概率落在哪个范围内。

小美把 14 天的数据交给懂统计的朋友，朋友算出 p = 0.003——远小于 0.05。“雨天巧合”的可能性被排除了。朋友又补了一句：真实提升量大概率在 2.4% 到 9.6% 之间，方向确定，但幅度还有波动。小美心里有了底，但还不敢全量。

z=xˉexp−xˉctrlsexp2nexp+sctrl2nctrlz = \frac{\bar{x}_{exp} - \bar{x}_{ctrl}}{\sqrt{\frac{s_{exp}^2}{n_{exp}} + \frac{s_{ctrl}^2}{n_{ctrl}}}}
z 统计量衡量观测差异相对随机波动放大了多少倍。|z| ≥ 1.96 时，p ≤ 0.05，差异达到统计显著。
  1. 均值差分子是两个样本均值之差，这是“我们看到的差异”。
    xˉexp−xˉctrl\displaystyle \bar{x}_{exp} - \bar{x}_{ctrl}
  2. 标准误分母是差值在重复抽样下的标准差。样本越少、组内方差越大，标准误越大，均值差就越不可信。
    SE=sexp2nexp+sctrl2nctrl\displaystyle SE = \sqrt{\frac{s_{exp}^2}{n_{exp}} + \frac{s_{ctrl}^2}{n_{ctrl}}}
  3. z 与 pz 值对应标准正态分布的一个位置，右侧尾部的面积就是 p 值。z 的绝对值越大，p 越小，证据越强。
    p=2×(1−Φ(∣z∣))\displaystyle p = 2 \times \left(1 - \Phi(|z|)\right)

灰度流程

即使数据支持新配方，小美也不敢第二天就把全店顾客的奶茶换成新配方。万一新配方对某些体质的人有隐患呢？更稳的做法是：这个月让 10% 的顾客试新，下个月 50%，确认无误后再全量。

这就是灰度发布，核心是“渐进放量”和“可回滚”。它不是拍脑袋定比例，而是一套带门槛的节奏：从 1%~10% 的小流量开始，观察 24~72 小时，确认核心指标不劣化、错误率正常、资源水位安全，再升到 20%、50%，最后全量。每一步都是一次带数据的决策。

回滚机制是灰度的安全绳。灰度期间一旦出现告警——错误率飙升、响应超时、投诉激增——立刻把流量切回旧版本，几分钟内恢复。灰度与 A/B 可以嵌套使用：灰度到 10% 时拉起 A/B 实验，用这 10% 的流量跑假设检验；实验显著后再继续放量。这样“扩量”和“判断”在时间线上融为一体，既科学又稳妥。放量比例随时间递增的规则，可以写成简单的调度函数。

小美把灰度量化成一张时间表贴在墙上：前两周只让 10% 的会员喝新配方，老顾客意见稳定后扩到 50%，再观察一周，最后全量。每个节点前她都要翻一遍数据看板——就像 LLM 团队每次放量前检查监控屏一样，屏上没绿灯，手就不去碰拉杆。

traffic(t)=min⁡(p0+pfull−p0T×t, pfull)\text{traffic}(t) = \min\left(p_0 + \frac{p_{full} - p_0}{T} \times t, \ p_{full}\right)
灰度放量比例从初始值 p0 随时间线性增长，到达全量 pfull 后封顶。常见的初始 p0 为 10%，周期 T 为数天到数周。
  1. 初始比例 p0新版本第一次真实承接流量的比例，通常在 1%~10%，小到足以控制爆炸半径。
    p0=0.01∼0.10\displaystyle p_0 = 0.01 \sim 0.10
  2. 线性递增每单位时间增加 (p_full − p0)/T，T 是计划灰度周期。若想更保守，也可用阶梯函数逐步跳增。
    Δp=pfull−p0T×t\displaystyle \Delta p = \frac{p_{full} - p_0}{T} \times t
  3. 封顶min 函数保证 traffic(t) 最多等于全量 100%，不会出现超过 100% 的非法值。
    traffic(t)=min⁡(规划值,1)\displaystyle \text{traffic}(t) = \min(\text{规划值}, 1)

科学决策

第六周周五，小美把所有信息摊在桌上：复购率提升 6 个百分点、p = 0.003、投诉率微涨但没破红线、原料成本下降 15%。现在要做最终决定了——上，还是不上？

科学决策不是看一个数字，而是加权一组证据。三条判据缺一不可：统计显著（p < α）、效应有业务意义（lift 超过预定阈值 δ）、护栏通过（无隐性副作用）。三条都满足，才全量；p 不显著，就继续累积样本或放弃；护栏异常，立即回滚。“显著但没意义”是新手最容易踩的坑——样本量足够大时，0.1% 的差异也能 p < 0.05，但这点提升撑不起一次发布。

除了统计判据，决策还要考虑工程与业务现实：灰度期间的资源开销、双版本并行维护的成本、竞品的时间窗口。这些非统计因素和统计结论一起，进入最终的决策矩阵。决策之后，还要把整场实验沉淀成报告：假设、指标、样本量、p 值、置信区间、踩过的坑。下一次实验不是从零开始，而是在这份报告上继续迭代。LLM 升级尤其需要这样的闭环——每一次模型迭代都积累一份实验档案，最终成为团队最值钱的数据资产。

小美在决策表上画了一个勾：全量上新配方。但她没有撕掉老配方的配方卡——万一新配方的原料供应出问题，她随时能切回去。这就像 LLM 团队永远保留上一个版本的模型权重，需要的只是一个切换开关。灰度与 A/B 的故事没有结束：下一款新品已经在研发室里冒泡了。

决策={全量上线p<α 且 lift>δ 且 护栏正常继续观察p≥α回滚护栏异常\text{决策} = \begin{cases} \text{全量上线} & p < \alpha \ \text{且} \ \text{lift} > \delta \ \text{且} \ \text{护栏正常} \\ \text{继续观察} & p \geq \alpha \\ \text{回滚} & \text{护栏异常} \end{cases}
上线决策是统计显著、业务有效、安全护栏三条判据同时满足才执行；任一条件不满足，则选择继续观察或回滚。
  1. 显著判据p < α 排除了“运气”因素的可能性。α 通常取 0.05，但也应根据业务风险调整——风险越高，α 越严。
    p<0.05\displaystyle p < 0.05
  2. 有效判据lift > δ 要求提升量有实际的业务意义。δ 是实验前定好的最小可接受提升，比如 1% 或 5%。
    lift>δ\displaystyle \text{lift} > \delta
  3. 安全判据护栏指标（时延、投诉、成本）必须落在正常区间。护栏异常时，主指标再漂亮也一票否决。
    护栏指标∈正常区间\displaystyle \text{护栏指标} \in \text{正常区间}

AI 应用场景

智能客服 LLM 升级

阶段：模型上线与线上监控

解决的问题：传统升级靠人工抽测几十条对话，覆盖不全、结论主观。新模型虽然离线评测分数高，但线上真实问答表现未知，贸然全量可能引发大量用户投诉。

具体案例：某电商平台智能客服要升级底层 LLM。团队按 user_id 哈希分桶，切出 10% 实时流量做 A/B 实验。北极星指标是“用户问题解决率”，护栏指标是“平均响应时延”和“转人工率”。实验运行一周，p = 0.02，解决率提升 3.2%，护栏指标正常，灰度从 10% 扩到 50%，运行三天后全量。

代码助手新模型评测

阶段：模型迭代验证

解决的问题：Copilot 类工具升级代码模型时，离线 benchmark 提升不代表用户买账，甚至可能出现“生成准确率上升但采纳率下降”的隐性退化。

具体案例：某 IDE 插件团队在插件端内置实验框架，按 user_id 分桶，实验组接新模型、对照组保持旧模型。核心指标选“建议采纳率”，护栏指标选“平均接受延迟”和“插件卸载率”。两周实验后提升显著，再按 25%→100% 灰度放量；同时把结果沉淀为实验报告，供下次模型迭代参考。

金融问答助手模型切换

阶段：合规与上线决策

解决的问题：金融场景对合规要求高，模型切换不能只看回答质量，还要确保合规回复比例不降、用户满意度不降。

具体案例：某金融科技公司将新模型灰度至 5% 流量，A/B 实验同时监测“合规回复比例”（护栏）与“用户满意度”（主指标）。两周后主指标持平、护栏显著改善，团队据此决定全量切换。

Python 演示

python49 行
import mathimport random  def simulate_ab(ctrl_rate, exp_rate, n_users, seed=42):    """模拟一次A/B实验: 对照组用旧配方, 实验组用新配方."""    rng = random.Random(seed)    ctrl = [1.0 if rng.random() < ctrl_rate else 0.0 for _ in range(n_users)]    exp = [1.0 if rng.random() < exp_rate else 0.0 for _ in range(n_users)]    return ctrl, exp  def two_prop_z_test(ctrl, exp):    """双样本比例z检验, 返回z统计量和单边p值."""    n1, n2 = len(ctrl), len(exp)    p1 = sum(ctrl) / n1    p2 = sum(exp) / n2    p_pool = (sum(ctrl) + sum(exp)) / (n1 + n2)    se = math.sqrt(p_pool * (1 - p_pool) * (1.0 / n1 + 1.0 / n2))    z = (p2 - p1) / se    p_value = 0.5 * math.erfc(z / math.sqrt(2))    return z, p_value  def min_sample_size(base_rate, lift, alpha=0.05, power=0.8):    """估算最小样本量: 每组需要多少用户才能检测出预期提升."""    z_alpha = 1.96    z_beta = 0.84    delta = base_rate * lift    p_avg = base_rate + delta / 2    n = (z_alpha + z_beta) ** 2 * 2 * p_avg * (1 - p_avg) / (delta ** 2)    return math.ceil(n)  if __name__ == "__main__":    base_rate = 0.30    lift = 0.20    n = min_sample_size(base_rate, lift)    print("每组最小样本量:", n)     ctrl, exp = simulate_ab(0.30, 0.36, n, seed=42)    z, p = two_prop_z_test(ctrl, exp)    print("对照组复购率: %.3f" % (sum(ctrl) / len(ctrl)))    print("实验组复购率: %.3f" % (sum(exp) / len(exp)))    print("z = %.3f, p = %.4f" % (z, p))    if p < 0.05:        print("结论: 差异显著, 新配方可以继续灰度放量")    else:        print("结论: 差异不显著, 建议继续累积样本")
目的：模拟一次“新配方 vs 老配方”的 A/B 实验，自动估算所需样本量、计算 z 统计量与 p 值，并给出是否显著、可否放量的结论。
  1. p_pool = (sum(ctrl) + sum(exp)) / (n1 + n2)合并两组样本估算共同的转化率，作为“没有差异”假设下的概率基准。
  2. se = math.sqrt(p_pool * (1 - p_pool) * (1.0 / n1 + 1.0 / n2))计算两组转化率之差的标准误，样本量越大标准误越小。
  3. z = (p2 - p1) / sez 统计量：观测到的差异相对随机波动放大的倍数。
  4. p_value = 0.5 * math.erfc(z / math.sqrt(2))把 z 值换算成单边 p 值（ERFC 是标准正态分布的补余误差函数）。
  5. n = (z_alpha + z_beta) ** 2 * 2 * p_avg * (1 - p_avg) / (delta ** 2)最小样本量公式：由显著性水平、统计功效和预期效应共同决定。
  6. if p < 0.05:用 0.05 作为显著性门槛做结论判断。

常见误区

误区跑完 A/B 测试，p 值是 0.03，马上写周报：“新模型效果显著，指标大涨，建议全量发布。” 好像 p 值越小越值得庆功。

正解p 值只回答“这个差异是不是偶然”，不回答“差异有多大”。0.6% 和 6% 的提升，只要样本足够大，都能得到 p < 0.05。量化效果要看效应量（lift）和置信区间。就像小美看到 p = 0.003 时，还看了置信区间——真实提升可能只有 2.4%，如果业务阈值是 5%，这个结果其实不足以支撑上线。

为何常见：很多工具只输出一个 p 值，新手容易把“统计显著”误当成“业务显著”。显著性检验和业务价值判断是两件事，被一个数字压缩在一起。

误区把灰度比例直接拉到 50%，样本多了 p 值不就小了？实验两周就能跑完，省时间。

正解样本量由流量比例和时间共同决定，但盲目放大会放大风险——新版本还没充分验证，就把一半用户暴露在潜在缺陷下，一出事故影响面就失控。正确做法是阶梯放量：先用低比例验证系统稳定性，再在 A/B 阶段维持满足最小样本量所需的比例。

为何常见：把“加速实验”等同于“多给流量”，忽略了灰度的本质是风险控制。灰度不是数据采集旋钮，而是保险丝。

误区实验组指标涨了，直接归因于新模型。同一个时间段里可能还有推荐系统调整、运营活动、甚至竞争对手价格变动。

正解A/B 实验有效的前提是“唯一变量”：实验组和对照组只差在新旧模型上。这要靠分桶随机、实验分层、链路隔离来保证，并且实验前要做 SRM 检验（样本比例不均衡检验）确认两组流量没有偏移。否则观察到的差异可能来自分组偏差而不是模型效果。

为何常见：人脑天生喜欢因果归因，而“控制变量”是实验的隐性工程，看不见摸不着，容易被忽略。

误区A/B 测试是一次性验收——p < 0.05 就上线，上线就翻篇，不留任何记录。

正解一次实验的结论只对“当时的模型、人群、时间段”成立。LLM 迭代快，新数据、新 prompt、新评估方式都会改变结论。成熟团队把每次实验的假设、指标、样本量、p 值和决策沉淀成实验报告，形成数据资产，让下一次实验站在上一次的肩膀上。

为何常见：把 A/B 测试当成“过检”，没把它当作持续决策的机制。小美没有扔掉老配方卡，也没有撕掉实验记录——她知道口味还会迭代，记录就是下一轮判断的起点。

面试题

Q1. A/B 测试中，“对照组”的主要作用是什么？

单选题 · easy

  • A.提供基准线用于和实验组对比← 正确答案
  • B.接收更多的流量以加快实验速度
  • C.同时测试两个新版本的叠加效果
  • D.保证系统稳定之后再全量发布

答案：A。对照组保持线上旧版本不变，提供“什么都不变会怎样”的基准线。没有对照组，实验组的任何数字都孤立无援，无法排除时间、天气、人群波动的影响。就像小美必须留下一批顾客继续喝老配方，否则“36% 复购率”是好是坏无从谈起。

Q2. 灰度发布的核心思想是什么？

单选题 · easy

  • A.一次性将新版本替换掉所有旧版本
  • B.让新版本逐步扩大用户流量比例← 正确答案
  • C.同时发布多个候选版本再优胜劣汰
  • D.只在离线测试集上做充分验证

答案：B。灰度发布的核心是“渐进放量”：从 1% 起步，安全后扩到 10%、50%，最后全量。一次性替换风险过大；多发版本择优属于多臂老虎机；离线验证是上线前的步骤，不属于灰度。

Q3. 流量分桶中，对用户 ID 做哈希取模的主要好处是什么？

单选题 · easy

  • A.同一用户每次实验都稳定进入同一组← 正确答案
  • B.让每个用户都能体验到新版本
  • C.减少服务器需要的计算资源
  • D.让实验组获得更多高价值用户

答案：A。哈希取模保证同一 user_id 永远映射到同一桶，用户在实验期间不会“跳组”，两组数据才纯净。B 不是分桶目标；C 的节省资源不是分桶的目的；D 则是主动引入分组偏差，绝不应当。

Q4. p 值小于显著性水平 α=0.05，正确的解读是？

单选题 · mid

  • A.实验组指标一定比对照组好 5 个百分点
  • B.原假设成立时出现该结果的概率低于 5%← 正确答案
  • C.实验目的已达成可以直接全量上线
  • D.对照组的数据从此不再有参考价值

答案：B。p 值是在“原假设为真”的前提下，观测到当前或更极端结果的概率。p=0.03 意味着：如果新旧版本真的没差，靠抽样波动做出这么大差异的概率只有 3%。它不代表效应大小（A 错），也不能单独作为上线决策（C 错）。

Q5. 实验开始前估算最小样本量的主要目的是什么？

单选题 · mid

  • A.减少实验期间的服务器资源开销
  • B.保证有足够统计功效检测出预期效应← 正确答案
  • C.让实验组和对照组样本数完全相同
  • D.判断应该使用 z 检验还是 t 检验

答案：B。样本量由预期效应量、α 和统计功效共同决定。样本太少，真实差异也会被噪声淹没（功效不足），白白浪费一轮灰度周期；样本太多则放大风险。它是实验设计的必答题，就像小美要先算需要多少个顾客的数据才够下结论。

Q6. 护栏指标（Guardrail Metrics）在 A/B 实验中的作用是什么？

单选题 · mid

  • A.作为判断实验胜负的唯一依据
  • B.监控主指标提升时是否引入副作用← 正确答案
  • C.决定实验组流量比例的分配
  • D.替代核心指标完成统计检验

答案：B。护栏指标守护底线，例如响应时延、投诉率、推理成本。主指标可能很漂亮，但若时延爆了、投诉涨了，体验依然受损。护栏指标不参与判胜，而是拥有一票否决权。

Q7. LLM 的 A/B 实验显示“回答准确率提升但平均对话轮次下降”，最合理的处理是什么？

单选题 · hard

  • A.准确率是核心指标直接全量上线
  • B.分析对话轮次下降原因再做决策← 正确答案
  • C.忽略对话轮次因为它不在计划内
  • D.立即回滚到旧版本以避免任何风险

答案：B。对话轮次下降可能是好事（一次答对，不用追问），也可能是坏事（用户失去信任）。正确做法是结合护栏指标与业务上下文做补充分析，再决定是否全量。A 只盯一个指标会忽略隐性退化；D 则放弃了数据本可支持的改进。

Q8. 关于灰度发布与 A/B 测试的关系，下列说法正确的有？

多选题 · mid

  • A.灰度发布解决“新版本如何逐步放量”← 正确答案
  • B.A/B 测试验证“新版本是否真的更好”← 正确答案
  • C.灰度放量过程中可以嵌套运行 A/B 实验← 正确答案
  • D.A/B 测试可以完全替代灰度发布流程

答案：ABC。A、B 分别是两者的核心定位；C 是最佳实践——灰度到 10% 时拉起实验，显著后再放量。D 错误：A/B 回答“值不值”，灰度负责“怎么扩、怎么退”，两者互补，不能替代。

Q9. 下列哪些情况会导致 A/B 实验结论不可信？

多选题 · hard

  • A.未算最小样本量就提前终止实验← 正确答案
  • B.两组的分桶哈希逻辑不一致← 正确答案
  • C.同一批用户同时参加多个未隔离实验← 正确答案
  • D.实验前预先设定 α=0.05 的显著性水平

答案：ABC。提前终止会造成功效不足，分桶逻辑不一致会让两组人群分布失衡，实验重叠会导致效果归因混乱。D 反而是规范做法：α 应事先设定而非事后调整，它恰恰是保证结论可信的前提。

Q10. 关于 p 值与真实决策的关系，以下理解正确的有？

多选题 · extreme

  • A.p 值衡量数据在原假设下的稀有程度← 正确答案
  • B.p 值越小说明效应越大越有业务价值
  • C.结论要结合效应量和置信区间综合判断← 正确答案
  • D.业务收益大时 p 略超 0.05 也可评估推进← 正确答案

答案：ACD。A 是 p 值的准确定义；C 是科学决策的正道；D 说明现实决策是综合权衡，若收益可观、风险可控且如实记录，可以进一步评估。B 错误：p 值不度量效应大小，大样本下微小差异也能 p 很小。