想象你是一家餐厅老板。招牌菜“红烧肉”用了十年老配方，客人一致好评。但新来的大厨坚信，换成“低温慢煮”工艺能让口味更上一层楼。你不敢直接把全店都换成新做法——万一口味翻车，老顾客全跑了。于是你想到一个聪明的办法：把进店的客人随机分成两桌，一桌继续吃老配方，一桌上新配方，暗中记录两桌的“光盘率”和“回头客比例”。这就是A/B测试的朴素原型。在搜索引擎的世界里，“红烧肉”就是排序算法——决定哪条结果排第一位，哪条排在后面。A/B测试与排序效果评估，就是搜索团队的“试菜体系”：在真实流量中做小范围对照实验，用数据判断新排序算法到底好不好，再决定是否全量上线。

岗位关联

对AI从业者而言，掌握A/B测试与排序效果评估是把模型改进转化为可度量业务价值的核心能力——让你从“我觉得效果好”升级为“数据证明效果好”。

目录
  1. 可视化演示
  2. 基础概念
  3. 离线评估指标
  4. 在线实验设计
  5. 统计显著性
  6. 效果评估分析
  7. 工程化落地
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示搜索排序效果评估三大维度：A/B测试设计（100%流量随机分桶对照组A 50%与实验组B 50%对比CTR/CVR核心指标计算提升率）、统计显著性检验（零假设H₀ A=B p值<0.05拒绝H₀置信区间CI95%不含0功效1-β≥0.8）、在线与离线指标对比（在线CTR/CVR/停留时长直接反映用户行为离线NDCG/MAP/MRR基于标注快速评估相关性r≈0.7）,三模式切换理解评估全貌。

本节配有交互动效（进入视口后自动加载，约 3KB）。

'+C1+'

基础概念

你的餐厅里，老配方红烧肉和新配方红烧肉分别端到了两桌客人面前。为了让实验公平，绝不能看人下菜碟——必须让每位客人都有相同概率被分到任何一桌。否则你得到的结论可能是“穿西装的人喜欢新配方”，而非“新配方本身更好”。这条铁律，就是A/B测试里最核心的“随机分流”原则。

在搜索引擎语境里，“菜”是排序策略：旧策略是当前线上运行的排序模型，新策略是你刚训练好的候选模型。A/B测试要做的事，就是把线上流量随机分成两组——一组继续使用旧策略（对照组），一组改用新策略（实验组），在固定周期内收集用户行为数据，再用量化指标判断两组的差异。这种评估方式属于“在线评估”，因为它在真实用户面前进行；与之相对的是“离线评估”，用历史日志和人工标注提前给模型打分。

离线评估好比后厨试菜——便宜、快速、可重复，但它的结论终究要在真实餐桌上验证。在线评估最朴素的指标是点击率，它衡量“结果展示给用户后，有多大比例被点了进来”。

回到餐厅：CTR就是“光盘率”，它直观却片面——客人光盘也可能只是因为太饿。要判断新配方是否真正优秀，还需要一套更细致的“后厨试吃打分表”，这就是离线评估指标。

CTR=ClicksImpressions\displaystyle CTR = \frac{Clicks}{Impressions}
点击率是被点击次数与展示次数的比值，是A/B测试中最基础、最直观的效果指标。
  1. $Clicks$（点击次数）用户在搜索结果页上点击某条结果的总次数。在餐厅比喻里，就是“客人真正动筷子吃了这道菜”的次数。
    Clicks=∑i=1nI(用户i点击)Clicks = \sum_{i=1}^{n} \mathbb{I}(用户_i 点击)
  2. $Impressions$（展示次数）搜索结果被展示给用户的总次数，包括用户没有点击的情况。相当于端上桌的菜品总数，不管客人吃没吃都算数。
    Impressions=∑i=1nI(用户i看到)Impressions = \sum_{i=1}^{n} \mathbb{I}(用户_i 看到)
  3. $CTR$（点击率）两者相除，得到“看到结果的人中有多大比例点了进来”。CTR越高，说明结果标题和摘要越有吸引力。
    CTR=∑点击∑展示CTR = \frac{\sum 点击}{\sum 展示}

离线评估指标

新菜正式上桌前，大厨会请几位资深食客在后厨试吃打分：“这道菜色香味各几分？如果一桌十道菜，哪道该放第一道开场？”这种试吃不占用正式餐桌，成本低、可重复、不惊动大众——离线评估的朴素版本就是如此。

搜索排序的离线评估，用带有相关性标注的测试集给排序模型打分。标注员为每个查询下的候选文档打上0到4分的相关性标签，接下来要回答的问题是：新模型是否把真正相关的文档排到了前面？最常用的量化指标是NDCG（归一化折损累积增益）。它同时考虑两个因素：相关性越高得分越高（增益），排位越靠后惩罚越狠（折损）。

除了NDCG，还有MAP（平均精度均值）看“所有相关文档是否都靠前”，MRR（倒数排名均值）只看“第一个相关结果排在第几位”。三者从不同角度回答同一个问题：好东西有没有被排到前排？但后厨打分再高，也不代表食客真的买账——真刀真枪的验证必须发生在真实营业中。

DCG=∑i=1k2reli−1log⁡2(i+1),NDCG=DCGIDCG\displaystyle DCG = \sum_{i=1}^{k} \frac{2^{rel_i} - 1}{\log_2(i + 1)}, \qquad NDCG = \frac{DCG}{IDCG}
DCG按位置折损地累积相关性收益，NDCG把DCG除以理想排序下的IDCG，使结果归一化到0到1之间。
  1. $rel_i$（相关性标签）标注员给第i个搜索结果打的分，取值0到4分。分数越高，代表这条结果与查询越相关。
    reli∈{0,1,2,3,4}rel_i \in \{0, 1, 2, 3, 4\}
  2. $2^{rel_i} - 1$（增益项）对相关性做指数变换，让“高度相关”的结果获得远超“部分相关”的加分——好菜和凑数的菜，得分差距必须拉开。
    gaini=2reli−1gain_i = 2^{rel_i} - 1
  3. $\log_2(i + 1)$（位置折损）除以位置的以2为底对数。排在第1位结果打1折损，排在第4位结果只得到约 $\frac{1}{2.32}$ 的分数，体现“排得越靠后越难被用户看到”。
    discounti=log⁡2(i+1)discount_i = \log_2(i + 1)
  4. $IDCG$（理想DCG）把该查询的所有文档按相关性从高到低排列后算出的最大DCG。分子DCG除以它，正好落在0到1之间，1代表排序完美。
    NDCG=DCGIDCG∈[0,1]NDCG = \frac{DCG}{IDCG} \in [0, 1]

在线实验设计

客人陆续进店，怎么把他们分到“老配方桌”和“新配方桌”？如果让服务员自己选，熟客肯定都被安排到老配方桌，怕得罪老主顾。正确做法是在门口掷硬币：正面去A桌，反面去B桌，完全随机。

搜索引擎的流量分配同样是“掷硬币”——通常按用户ID或设备指纹做哈希分桶。但这里藏着两个陷阱：其一，同一用户重复进入不同组会造成实验互相污染，他既吃了老配方又吃了新配方，反馈就分不清归属；其二，分组必须在时间维度上均匀，否则出现“上午都是A组、下午都是B组”的系统性偏移。一个精心设计的A/B实验，还要回答一个关键问题：需要多少用户才能检测出真实差异？这就用到样本量估算公式：

掷硬币的规则和桌数定好了，实验就能开跑。但跑完后，新配方桌的光盘率高了4个百分点——这到底是配方真更好，还是今晚碰巧来了一群胃口好的客人？回答这个问题，需要统计显著性检验。

n=(Zα/2+Zβ)2⋅2σ2δ2\displaystyle n = \frac{(Z_{\alpha/2} + Z_{\beta})^2 \cdot 2\sigma^2}{\delta^2}
n为每组所需用户数，σ是待测指标的波动幅度，δ是最小可检测差异，Z值来自统计界预先约定好的“信任刻度”。
  1. $Z_{\alpha/2}$（显著性阈值）设定显著性水平α=0.05后，查正态分布表得到双尾临界值1.96。α代表“允许误判新配方更好的概率”不超过5%。
    Z0.05/2=1.96Z_{0.05/2} = 1.96
  2. $Z_{\beta}$（功效系数）统计功效1-β取0.8时，对应z分数0.84。它表示“新配方确实更好时，实验能把这个真相挖出来的概率”。
    Z0.20=0.84Z_{0.20} = 0.84
  3. $\sigma^2$（指标方差）待测指标（如CTR）自身的波动程度。指标越不稳定，就像食客口味越飘忽，需要的样本就越多才能看清真相。
    σ2=p(1−p),p为预估点击率\sigma^2 = p(1-p), \quad p为预估点击率
  4. $\delta$（最小可检测差异）你希望捕捉到的最小效果量，比如CTR从12%提升到13%就算有意义，则δ=0.01。δ设得越小，需要的样本量越大。
    δ=∣p新−p旧∣\delta = |p_{新} - p_{旧}|

统计显著性

新配方桌光盘率82%，老配方桌78%。差4个百分点，看起来新配方赢了。但你不禁要问：要是把两桌客人重新掷一次硬币分配，结果会不会反转？这种“反转可能性”有多大，正是统计显著性要回答的问题。

我们把“两种配方其实没有差别”设为原假设 $H_0$，把“新配方确实更好”设为备择假设 $H_1$。统计检验的目标，是计算“在原假设为真的前提下，观察到当前这么大差异（或更极端）的概率”，这个概率就是p值。p值越小，说明“纯靠运气”越难解释眼前的差异。计算p值最常用的工具是双样本t检验：

统计检验像给“新配方好4个百分点”上了一道保险锁。只有通过检验，你才敢把新配方写进正式菜单——但这只是统计学意义上的“可信”，最终能不能给餐厅带来更多利润，还得看业务指标的脸色。

t=xˉ1−xˉ2s12n1+s22n2\displaystyle t = \frac{\bar{x}_1 - \bar{x}_2}{\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}}
t统计量刻画“两组均值差”相对“自然波动”放大了多少倍。倍数越大，差异越不可能是偶然。
  1. $\bar{x}_1 - \bar{x}_2$（均值差）两组点击率（或光盘率）的差值，是新配方效果的原始度量。
    xˉ1=0.82,xˉ2=0.78\bar{x}_1 = 0.82, \quad \bar{x}_2 = 0.78
  2. $s_1^2, s_2^2$（组内方差）每组内部用户行为的差异程度。方差大，说明组内个体差异大，“背景噪声”响亮。
    s2=1n−1∑i=1n(xi−xˉ)2s^2 = \frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2
  3. $\sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}$（合并标准误）把两组的方差除以各自样本量后相加再开方，得到“均值差这个数字本身的抖动幅度”。
    SE=s12n1+s22n2SE = \sqrt{\frac{s_1^2}{n_1} + \frac{s_2^2}{n_2}}
  4. $t$（t统计量）均值差是标准误的多少倍。通常约定，$|t| > 1.96$ 时p值小于0.05，此时差异被认为是统计显著的。
    ∣t∣>1.96⇒p<0.05|t| > 1.96 \Rightarrow p < 0.05

效果评估分析

新配方测试通过了显著性检验，老板正准备全线切换。服务员却补了一句：新配方桌的光盘率虽高，“饮料加购率”却比老配方桌低了20%。新配方偏咸，客人光顾着喝水，没心情点饮料。这个故事说明：评估效果，绝不能只盯一个指标。

搜索排序的A/B实验同理。CTR是最直观的指标，但一个把八卦标题排前面的排序策略，CTR可能飙升，用户点进去却大失所望，下次就不再来了。因此业界采用“指标金字塔”结构分层评估：顶层是CTR（用户愿不愿意点），中间是转化率CVR（点了之后有没有完成搜索的目标行为，如购买、注册），底层是业务收益（GMV、广告收入、留存率）。评估新算法业务价值，最常用的是相对提升度：

同时，要区分“统计显著”和“业务显著”：p<0.05只说明差异不是巧合，但Lift只有0.1%时，未必值得承担全量上线的工程风险。老板综合考虑光盘率上升和饮料加购率下降后，决定让大厨把盐量减半再测一轮——评估的终点不是一次实验的通过与否，而是迭代闭环的开始。

Lift=CTRnew−CTRoldCTRold×100%\displaystyle Lift = \frac{CTR_{new} - CTR_{old}}{CTR_{old}} \times 100\%
Lift表示新策略相较旧策略在目标指标上的相对变化率，是A/B实验结论的最终量化口径。
  1. $CTR_{new}$（新策略点击率）实验组观测到的点击率，是新排序算法的实际线上表现。
    CTRnew=ClicksnewImpressionsnewCTR_{new} = \frac{Clicks_{new}}{Impressions_{new}}
  2. $CTR_{old}$（旧策略点击率）对照组点击率，是当前线上算法的基准水平。
    CTRold=ClicksoldImpressionsoldCTR_{old} = \frac{Clicks_{old}}{Impressions_{old}}
  3. $Lift$（相对提升度）新旧之差除以旧值，得到“相对提升了百分之几”。例如从12%涨到13.2%，Lift正好是10%。
    Lift=0.132−0.1200.120×100%=10%Lift = \frac{0.132 - 0.120}{0.120} \times 100\% = 10\%

工程化落地

一家餐厅偶尔搞一次试菜实验，靠店长手工记录就够了。但若要每月推出新菜、持续优化菜单，就得有标准化的试菜制度：专用试菜间、统一评分表、完整的档案库。搜索排序团队也一样——临时写脚本跑实验，注定走不远，必须把A/B测试能力平台化。

大型搜索推荐系统的A/B测试平台通常包含三大模块：流量分层分桶系统，将用户用哈希算法均匀分配到各实验，且保证同一个用户在多个实验间互不干扰；数据埋点与采集系统，实时记录曝光、点击、停留、转化等行为序列；效果分析与决策系统，自动计算指标和显著性并生成可视化报表。

平台中最核心的决策依据是置信区间——它比单个p值提供更多信息：

有了标准化试菜流程，餐厅才能一条接一条地推出新菜、稳步积累口碑。排序团队也因此把每次模型迭代变成可复用的实验资产——每个决策都有数据背书，每一步优化都站在前一步结论的肩膀上。

CI=(p^1−p^2)±Zα/2⋅SE\displaystyle CI = (\hat{p}_1 - \hat{p}_2) \pm Z_{\alpha/2} \cdot SE
置信区间给出新策略效果的合理估计范围。区间完全在0右侧，说明新策略显著更优；区间包含0，说明证据尚不足以下结论。
  1. $\hat{p}_1 - \hat{p}_2$（点估计差）实验组与对照组点击率的观测差值，作为真实差异的最佳估计。
    p^1−p^2=0.132−0.120=0.012\hat{p}_1 - \hat{p}_2 = 0.132 - 0.120 = 0.012
  2. $Z_{\alpha/2} \cdot SE$（边际误差）把标准误放大到置信水平对应的z分数倍。95%置信水平下，取1.96倍的SE作为误差范围。
    ME=1.96×SEME = 1.96 \times SE
  3. $\pm$（区间上下界）点估计加减误差范围，得到置信区间。例如 $[0.004, 0.020]$：真实差异有95%的概率落在这个区间内，且下限大于0，说明新策略确实更好。
    CI=[0.012−1.96⋅SE,  0.012+1.96⋅SE]CI = [0.012 - 1.96 \cdot SE, \; 0.012 + 1.96 \cdot SE]

AI 应用场景

电商平台的排序升级验证

阶段：在线评估与决策

解决的问题：电商平台训练出新的排序模型后，无法仅凭离线指标判断是否值得上线。传统方式是运营人员人工对比截图，“感觉”新排序更好，偏差大且不可复现。AI方式是通过A/B实验，把新老模型分别部署在实验组和对照组，同时监控CTR、加购率、成交金额等分层指标。

具体案例：某电商平台将排序模型从GBDT升级为深度多目标模型，先用5%的流量跑两周A/B实验。实验组CTR提升8%，但转化率反而下降2%，说明新模型虽然吸引了更多点击，但点进来的商品并不符合购买意图。团队据此决定继续优化模型而非全量上线。

短视频推荐的双层实验

阶段：在线实验设计与效果分析

解决的问题：推荐算法调整容易受时间效应干扰——周末和工作日的观看行为差异巨大。传统方法前后对比无法隔离时间因素，A/B实验用“同周期随机对照”让两组用户在同一时间段内比较，天然消除时间混杂。

具体案例：某短视频平台在晚间黄金时段进行A/B测试，对照组为当前推荐策略，实验组为新增“多目标排序+时长权重”策略。通过用户ID哈希分桶保证同一用户只进入一组，两周后统计检验显示实验组人均观看时长提升6.3%，且p值小于0.01。团队随后分阶段扩大实验流量至50%，确认稳定后全量上线。

Python 演示

python49 行
import randomimport math  def simulate_clicks(num_users, ctr):    """模拟一组用户的点击行为, 每个用户以 ctr 概率产生一次点击"""    clicks = 0    for _ in range(num_users):        if random.random() < ctr:            clicks += 1    return clicks  def compute_metrics(n_group, clicks_group):    """计算点击率与标准误, 用于后续显著性检验"""    ctr = clicks_group / n_group    se = math.sqrt(ctr * (1 - ctr) / n_group)    return ctr, se  def t_test(ctr_a, se_a, ctr_b, se_b):    """两个独立样本的近似t检验, 返回t统计量"""    t = (ctr_b - ctr_a) / math.sqrt(se_a**2 + se_b**2)    return t  def main():    random.seed(42)    n_users = 20000    ctr_old = 0.120    ctr_new = 0.132    clicks_a = simulate_clicks(n_users, ctr_old)    clicks_b = simulate_clicks(n_users, ctr_new)    ctr_a, se_a = compute_metrics(n_users, clicks_a)    ctr_b, se_b = compute_metrics(n_users, clicks_b)    t = t_test(ctr_a, se_a, ctr_b, se_b)    lift = (ctr_b - ctr_a) / ctr_a * 100    print("对照组A: 点击率=%.4f 曝光=%d 点击=%d" % (ctr_a, n_users, clicks_a))    print("实验组B: 点击率=%.4f 曝光=%d 点击=%d" % (ctr_b, n_users, clicks_b))    print("相对提升: %.2f%%" % lift)    print("t统计量: %.4f" % t)    if abs(t) > 1.96:        print("结论: 差异显著, 新策略更优")    else:        print("结论: 差异不显著, 无法判断新策略更优")  if __name__ == "__main__":    main()
目的：完整模拟A/B测试的流量分桶、指标计算、t检验和结论输出，帮助理解“随机分配→数据收集→显著性判断”的完整链路。
  1. random.random() < ctr模拟每个用户的“掷硬币”决定是否点击，用CTR作为点击概率。
  2. math.sqrt(ctr * (1 - ctr) / n_group)计算点击率的标准误，反映这个估计值的可信程度。
  3. t = (ctr_b - ctr_a) / math.sqrt(se_a**2 + se_b**2)两组点击率之差除以合并标准误，得到t统计量。
  4. abs(t) > 1.96与95%置信水平临界值比较，判断差异是否统计显著。
  5. random.seed(42)固定随机种子，保证实验结果可复现。

常见误区

误区“P值都小于0.05了，统计上显著，赶紧全量上线吧！”

正解P值小只说明差异不太可能由随机性造成，并不代表差异幅度有多大、业务上值不值得做。样本量足够大时，哪怕新算法只提升0.01%的CTR，P值照样小于0.05，但这种提升在业务上毫无意义。正确做法是同时看Lift幅度和置信区间。就好比餐厅试菜，试菜员味觉灵敏到能尝出0.1%的咸度差异，这对开店决策来说等于没差。

为何常见：容易把“统计显著”混同于“实际显著”，忽略了统计学只回答“偶然还是必然”，不回答“值不值得”。

误区“数据越多越可靠，实验多跑几个月肯定更准。”

正解实验周期过长会引入时间混杂因素：电商大促、周末效应、用户习惯的季节性变化都会扭曲结果。而且长时间让一部分用户使用潜在劣质策略，有真实的用户体验成本。业界实践是先用样本量公式估算所需流量和天数，达到最小样本量后按计划结束实验。

为何常见：直觉上“大数定律”让人以为数据越多越好，却忽略了现实世界的非平稳性——客人口味每天都在变，实验跑得越久，干扰因素越复杂。

误区“北京用户放A组，上海用户放B组，反正都是中国人，差异不大。”

正解不同地域的用户搜索习惯、消费能力、网络环境差异巨大。按地域分组会让“排序策略差异”和“用户构成差异”纠缠不清，违反实验的随机化原则。正确做法是按用户ID或设备指纹做哈希分桶，让两组用户画像在期望上完全一致。

为何常见：对随机化的统计学意义理解不足，觉得“差不多就行”，实际上系统性偏差会让实验结论彻底失真。

误区“实验组CTR涨了15%，这次排序改版肯定大成功！”

正解CTR高只说明用户更愿意点，点进去之后的内容质量、停留时长、转化行为可能是另一回事。如果新排序把“猎奇标题”排前，CTR会上升但跳出率也会飙升，长期留存反而下降。必须构建从CTR到转化率再到客单价的指标漏斗逐层确认，就像看餐厅“光盘率”的同时也要看“饮料加购率”和“回头客比例”。

为何常见：单一指标导向的思维惯性，与“指标金字塔”的系统评估思维相悖。

面试题

Q1. A/B测试的核心目的是什么？

单选题 · easy

  • A.多收集用户行为数据
  • B.比较方案的优劣因果差异← 正确答案
  • C.全方位替代离线评估
  • D.优化服务端硬件性能

答案：B。A/B测试最核心的目的是通过随机对照实验，比较两个方案（如新旧排序策略）在真实场景中的效果差异，并确认这种差异是否可以归因于策略本身。A选项只是手段，C选项过于绝对，D选项与A/B测试无关。

Q2. 下列哪个属于离线评估指标？

单选题 · easy

  • A.页面点击率CTR
  • B.用户转化率CVR
  • C.累计增益NDCG← 正确答案
  • D.平均实验时长

答案：C。NDCG（归一化折损累积增益）使用人工标注的相关性标签在测试集上计算，是典型的离线评估指标。CTR和CVR需要真实用户行为数据，属于在线评估指标；实验时长是实验设计参数而非评估指标。

Q3. NDCG指标中的IDCG代表什么？

单选题 · mid

  • A.理想情形下的累积增益← 正确答案
  • B.随机排序下的累积增益
  • C.实际排序的累计收益
  • D.邻域图的传导矩阵

答案：A。IDCG全称Ideal DCG，是在假设排序结果完美（所有文档按相关性从高到低排列）时计算出的最大DCG值。将实际DCG除以IDCG进行归一化，使NDCG落在0到1之间，1代表排序完全正确。B、C、D都与IDCG的定义不符。

Q4. 假设检验中p值小于0.05说明？

单选题 · mid

  • A.原假设必然是虚假的
  • B.数据结果由随机产生
  • C.结果偶然概率较低← 正确答案
  • D.团队可以放弃实验

答案：C。p值是在原假设为真的前提下，观察到当前或更极端数据的概率。p<0.05说明这样的极端数据在“两组无差异”的假设下出现概率不到5%，即结果不太可能纯由偶然造成。但p值不能证明原假设绝对虚假，更不能直接推导出“放弃实验”的结论。

Q5. 样本量估算公式中的δ含义是？

单选题 · mid

  • A.参与实验的用户总数
  • B.最小可检测的差异值← 正确答案
  • C.原假设的显著性水平
  • D.两组实验的标准误差

答案：B。δ代表最小可检测差异，即我们希望实验有能力捕捉到的最小效果量。δ越小，说明对灵敏度的要求越高，需要的样本量越大。它由业务方根据实际场景设定，比如认为CTR提升0.5个百分点才有上线价值，则δ=0.005。

Q6. t=2.3，临界值1.96，结论判断正确的是？

单选题 · hard

  • A.统计上接受原假设
  • B.统计上拒绝原假设← 正确答案
  • C.无法做任何有效判断
  • D.两组数据完全相同

答案：B。t统计量2.3大于双尾检验临界值1.96，落入拒绝域，因此拒绝原假设，认为两组差异在95%置信水平下统计显著。这就像“新配方比老配方好吃”的证据足够强，可以推翻“两者一样”的假设。C和D都是对t检验的误解。

Q7. 以下哪些措施可以减少实验交叉污染？

多选题 · mid

  • A.根据用户ID哈希分桶← 正确答案
  • B.沿用全部历史实验数据
  • C.使用独立标识识别用户← 正确答案
  • D.允许一个用户参与多组

答案：AC。按用户ID哈希分桶能保证同一用户稳定进入同一组；使用独立标识（如Cookie/设备ID）识别用户能防止相同用户在不同设备上重复进入多个实验组。B选项说沿用历史数据，恰恰会混入旧实验的影响；D选项允许一个用户参与多组，正违反了实验隔离的原则。

Q8. NDCG与CTR指标相比有哪些特点？

多选题 · mid

  • A.NDCG需要相关性标注← 正确答案
  • B.NDCG衡量排序质量← 正确答案
  • C.CTR无需依赖真实流量
  • D.CTR不受展示位置影响

答案：AB。NDCG需要人工标注的相关性标签，在固定测试集上衡量排序质量；CTR则必须依赖真实用户的曝光和点击行为计算，且天然受展示位置影响——排第一的结果点击率总是更高。C和D的表述均与事实相反。

Q9. 实验组和对照组的最主要区别是？

单选题 · easy

  • A.用户性别分布不同
  • B.接收的排序策略不同← 正确答案
  • C.使用的实验版本不同
  • D.所处的地区城市不同

答案：B。在随机分流的前提下，两组用户的性别、地区、设备等特征在期望上完全一致，唯一刻意制造的不同就是接收的排序策略——这让实验结果能干净地归因于策略本身。A、D是随机化应该消除的差异，C说法模糊不如B精确。

Q10. 关于p值与置信区间，正确的有？

多选题 · hard

  • A.p值度量原假设为真的概率
  • B.p值小于α可拒绝原假设← 正确答案
  • C.置信区间包含零则差异不显著← 正确答案
  • D.置信区间越宽样本量越大

答案：BC。p值不是“原假设为真的概率”，而是“原假设为真时观察到当前数据的概率”，A错误；p值小于显著性水平α时拒绝原假设，B正确；置信区间若包含0，说明真实差异可能为正也可能为负，无法得出显著结论，C正确；置信区间越宽通常意味着标准误越大、样本量越小而非越大，D错误。