想象一家名为“科学餐厅”的网红店。这家店没有固定菜单——每周推出三道新菜，每道菜进入正式菜单之前，都要先在不同桌的客人面前“试菜”。服务员记录回盘率、点赞数和回头率。主厨想用松露油？可以，但先试两周。客人说太咸？数据显示 82% 的客人剩下了一半的菜。于是这道菜要么改进，要么淘汰，一切用数据说话。 这就是产品实验文化的本质：把“我觉得这个功能能火”换成“我们先验证一下”。对 AI 产品团队来说，无论是推荐算法的改版、对话机器人提示词的调整，还是新功能上线，都需要一套系统方法——涵盖实验流程怎么设计、平台怎么搭、团队怎么形成数据思维、失败了怎么处理、多个实验怎么排序、结果怎么拍板。这篇文章将带你一步步把“数据驱动”从一句口号，变成团队的日常习惯。

岗位关联

学完本节，你将掌握在团队中系统搭建实验文化的方法论，能设计实验流程、搭建实验平台、培养团队数据思维，让每次 AI 产品迭代都有真实数据支撑——这是 AI 产品经理和技术负责人推动团队进化的核心能力。

目录
  1. 可视化演示
  2. 实验文化价值
  3. 实验流程设计
  4. 实验平台搭建
  5. 数据思维培养
  6. 实验失败处理
  7. 实验优先级
  8. 结果决策机制
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示软件缺陷从发现到关闭的完整生命周期流转，含缺陷严重度分布统计和代码审查流程，动态演示缺陷状态变迁过程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

缺陷生命周期流转 缺陷状态：新建→分配→修复→验证→关闭，可回退到重新打开 每个状态变更需记录操作者和原因，确保可追溯 New → Assigned → Fixed → Verified → Closed

实验文化价值

科学餐厅的后厨墙上挂着一张“月度实验榜”，记录着每道候选菜的实验数据和结论：“黑椒菠萝披萨，试菜 12 天，评分 4.6/5，复点率 61%，建议上新。”主厨再偏爱某道菜，如果实验数据不达标，也会被一票否决。这就是实验文化的起点：在数据面前，个人偏好让位。

这种文化放在 AI 产品团队里，就是“实验文化”——团队不再靠老板拍板或资深成员的经验决定功能去留，而是靠受控实验的真实反馈。它的价值体现在四个层面：第一，数据驱动根基，每次迭代都基于事实而非直觉；第二，降低决策风险，小流量实验避免全量上线的灾难性回滚；第三，鼓励创新试错，因为试错成本可控，团队敢于大胆尝试；第四，团队共识建立，大家用同一套“实验语言”对话，争吵变少、决策更快。

衡量一次实验是否值得做，核心指标是“提升率（Lift）”。它回答的问题是：新版本比旧版本到底好了多少？旧版点击率 10%，新版 13%，光看百分比涨了 3 个点不够直观，Lift 会告诉你相对旧版提升了 30%。

当每个功能都带着“相对上一版提升多少”的数字上场，数据就成了团队的共同语言。就像科学餐厅的“实验榜”一样，实验文化就此在组织里扎下根来。

Lift=pB−pApA×100%\displaystyle \text{Lift} = \frac{p_B - p_A}{p_A} \times 100\%
公式通俗说明：提升率是“新版相对旧版提高了百分之几”，比单纯说“涨了几个百分点”更能体现改进的幅度，也更容易在团队里横向比较各个实验的价值。
  1. p_A（版本A转化率）旧版本的关键指标表现，比如推荐算法的点击率，由转化人数除以总用户数得到。
    pA=版本A转化人数版本A总用户数\displaystyle p_A = \frac{\text{版本A转化人数}}{\text{版本A总用户数}}
  2. p_B（版本B转化率）新版本的关键指标表现，计算方式与版本A相同。
    pB=版本B转化人数版本B总用户数\displaystyle p_B = \frac{\text{版本B转化人数}}{\text{版本B总用户数}}
  3. Lift（提升率）新版相对旧版的提升幅度，是比绝对值更有意义的比较指标。
    Lift=pB−pApA×100%\displaystyle \text{Lift} = \frac{p_B - p_A}{p_A} \times 100\%

实验流程设计

科学餐厅每道新菜要走过四步：主厨先写“试菜猜想卡”——“客人可能更喜欢低温慢煮的牛排”；再定义什么叫“好吃”——复点率超过 60%、评分不低于 4.5 分；接着决定让哪几桌客人试、试多久；最后对比试菜桌与普通桌的数据，给出是否上新的结论。

产品实验的流程设计也是同样的四步。假设提出阶段，假设必须具体且可证伪，“增加推荐解释能让点击率提升”就比“让推荐更好用”强得多。指标定义阶段，选定一个核心指标，再辅以护栏指标防止顾此失彼——比如提升了点击率但降低了人均时长，就是典型的顾此失彼。实验设计阶段，确定分流比例、实验时长和样本量。结果评估阶段，则依赖统计显著性判断。

最容易被忽略的是样本量估算。样本太少，实验跑两周也发现不了真实差异；样本太多，又浪费流量和研发时间。估算样本量的经典公式如下。

主厨定下“试菜两周、至少统计 200 桌”的计划，与团队在实验前算清样本量是同一个逻辑。不提前算好就开跑，等于拍脑袋决定试菜天数，结果往往是跑了一周还不知道菜到底行不行。

n=(Zα/2+Zβ)2×2σ2δ2\displaystyle n = \frac{(Z_{\alpha/2} + Z_{\beta})^2 \times 2\sigma^2}{\delta^2}
公式通俗说明：样本量公式就像“试菜需要的桌数”——你越想发现细微的口味差异（δ 越小），或者菜品口味越不稳定（σ 越大），就需要越多桌客人来试，结论才靠谱。
  1. Z_α/2（显著性水平临界值）α=0.05 时取 1.96，它控制“明明没差异却判断有差异”的假阳性风险。
    Z0.025=1.96\displaystyle Z_{0.025} = 1.96
  2. Z_β（检验功效临界值）β=0.2 时取 0.84，表示有 80% 的把握能发现真实存在的差异。
    Z0.2=0.84\displaystyle Z_{0.2} = 0.84
  3. σ（指标标准差）反映指标的日常波动，波动越大，需要的样本量越大。
    σ=1n−1∑i=1n(xi−xˉ)2\displaystyle \sigma = \sqrt{\frac{1}{n-1}\sum_{i=1}^{n}(x_i - \bar{x})^2}
  4. δ（最小可检测提升）你认为值得发现的差异大小，想发现更小的提升就需要更多样本。
    n=(Zα/2+Zβ)2×2σ2δ2\displaystyle n = \frac{(Z_{\alpha/2} + Z_{\beta})^2 \times 2\sigma^2}{\delta^2}

实验平台搭建

科学餐厅后厨有一套“智能食客系统”：客人扫码点餐时，系统会随机把客人分配到“试菜菜单”或“常规菜单”，并自动记录每道菜的出菜时间、剩余量、复点次数和评分。主厨不用等月底，打开仪表盘就能实时看到新菜的受欢迎程度。

这套系统对应到产品团队就是实验平台。一个合格的实验平台由四个模块组成：流量分配负责把用户随机、均匀地分到实验组和对照组；数据采集负责记录用户行为事件；统计引擎负责计算显著性；结果可视化让产品经理和工程师都能直观查看实验结论。这些模块缺一不可，少了任何一个，实验结论都可能失真。

平台最容易踩的坑是“分流一致性”（SRM）问题。你配置了 50:50 分流，但实际日志里只看到 45:55——这通常不是单纯的数字波动，而是说明实验环境存在缓存、日志丢失或端上异常，此时一切结论都不可信。用卡方检验可以判断分流是否异常。

就像智能食客系统一旦发现“试菜桌的客人总被安排在靠窗位置”就自动报警一样，实验平台也要在分流异常时主动告警。只有保证每道菜的实验都站在公平的舞台上，结论才有意义。

χ2=∑i∈{A,B}(Oi−Ei)2Ei\displaystyle \chi^2 = \sum_{i \in \{A,B\}} \frac{(O_i - E_i)^2}{E_i}
公式通俗说明：如果实际分流人数和预期人数差得不多，卡方值就小；差得离谱，卡方值就大。大到超过临界值，就说明分流系统出了问题，实验结果不能信。
  1. O_i（实际分流人数）日志中统计到的实验组与对照组实际人数。
    OA=4500,OB=5500\displaystyle O_A = 4500,\quad O_B = 5500
  2. E_i（预期分流人数）按配置比例计算的期望人数。
    EA=5000,EB=5000\displaystyle E_A = 5000,\quad E_B = 5000
  3. χ²（卡方统计量）实际与预期偏差的标准化度量，偏差越大，卡方值越大。
    χ2=∑i∈{A,B}(Oi−Ei)2Ei\displaystyle \chi^2 = \sum_{i \in \{A,B\}} \frac{(O_i - E_i)^2}{E_i}

数据思维培养

科学餐厅最厉害的地方，不是主厨一个人懂数据，而是连洗碗工都知道“今天的墨鱼汁意面剩下很多，可能客人不爱这个口味”。服务员随手在 iPad 上记下客人的表情和剩菜情况，全员的数据敏感度让餐厅的决策永远快人一步。

产品团队同样如此。数据思维不是数据分析师的专利，而是每个成员的素养。产品经理要能把模糊的想法变成可检验的指标；工程师要主动埋点而不是“等上线再看”；设计师要愿意给自己偏爱的方案打一个问号。落到日常习惯上，就是开会用数据说话、做需求时先写预期指标、表达观点时引用实验结论而不是“我经验丰富”。

数据思维的核心工具之一是“置信区间”。实验中算出新版点击率 12% 时，这个数字本身带有抽样误差，真实值可能落在某个范围内。置信区间告诉我们这个范围在哪里。

当团队学会“对自己的判断保留置信区间”，就不会被单次实验的偶然波动带偏。就像服务员记下“客人皱了皱眉”一样，数据思维的核心不是算出精确值，而是理解数据背后的不确定性。

CI=p^±Zα/2×p^(1−p^)n\displaystyle CI = \hat{p} \pm Z_{\alpha/2} \times \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
公式通俗说明：置信区间就像“客人对这道菜评分的可波动范围”——单桌评分有高有低，但看足够多桌后，真实平均水平会稳定落在某个区间内。
  1. p̂（样本转化率）实验中直接观测到的转化率，是真实转化率的估计值。
    p^=转化人数n\displaystyle \hat{p} = \frac{\text{转化人数}}{n}
  2. SE（标准误）衡量抽样误差的大小，样本量越大，标准误越小。
    SE=p^(1−p^)n\displaystyle SE = \sqrt{\frac{\hat{p}(1-\hat{p})}{n}}
  3. CI（置信区间）95% 置信区间表示真实转化率有 95% 的概率落在这个范围内。
    CI=p^±Zα/2×SE\displaystyle CI = \hat{p} \pm Z_{\alpha/2} \times SE

实验失败处理

科学餐厅的厨房里有一本“黑名单备忘录”，上面写满了失败的实验：“柚子胡椒鸡翅，试菜 5 天，评分 2.3/5，差评集中在'太呛'，淘汰。”主厨公开表扬记录失败的人，因为他清楚：一道失败的菜，能帮后来者省下十道相似的失败尝试。

产品团队对失败的态度，决定了实验文化能走多远。失败处理有三个层次：失败归因——区分是假设错了、实现错了，还是实验设计错了；快速复盘——在实验结束后 48 小时内输出复盘报告；知识沉淀——把结论写进团队实验知识库，成为后人的避坑指南。更底层的是心理安全：如果实验失败会扣绩效、写检讨，就不会有人愿意做实验，大家只会挑“一定能成”的项目做，创新随之死亡。

谈失败，绕不开统计学中的“第一类错误”——假阳性。它描述的是“其实没有差异，但实验因为偶然波动判断有差异”的错误。

就像黑名单备忘录上的那些失败菜品，团队接受“每 20 次实验会有一次假阳性”的真相，不把单次失败当世界末日，而是把它当作迈向更高实验质量的一块基石。

α=P(拒绝H0∣H0 为真)\displaystyle \alpha = P(\text{拒绝} H_0 \mid H_0 \text{ 为真})
公式通俗说明：每做 20 次实验，即使所有版本都没有真实差异，平均也会有 1 次被偶然波动误判为“有差异”，这就是我们愿意为决策效率付出的可控犯错成本。
  1. H0（零假设）假设新版本与旧版本没有差异，是实验的默认前提。
    H0:pB=pA\displaystyle H_0: p_B = p_A
  2. α（显著性水平）犯假阳性错误的概率上限，通常设定为 0.05。
    α=P(拒绝H0∣H0 为真)=0.05\displaystyle \alpha = P(\text{拒绝} H_0 \mid H_0 \text{ 为真}) = 0.05

实验优先级

科学餐厅每月研发预算只够做三道新菜，候选池里却有十五道。主厨每周五会拿一张“得分卡”给候选菜打分：能带来多少回头客（影响）、团队对这道菜的把握有多大（信心）、研发和试菜要花多少时间（成本）。三张分一算，排名就出来了。

AI 产品团队的实验候选需求通常远多于可执行的实验数量。不做排序的结果就是“想到什么做什么”——呼声大的抢着做，重要但不紧急的项目一直排不上。常见的排序方法有 ICE 评分、RICE 评分等，核心逻辑都是把影响、信心与成本量化成一个可比较的分数。

ICE 评分是最轻量、最易上手的方法，特别适合启动实验文化早期的团队。它只需要每个提案人为自己的实验打三个分，然后算出综合得分。

得分卡让主厨不用靠争吵决定先做哪道菜，ICE 评分让团队成员把个人偏好放在一边，用同一把尺子衡量实验价值。资源自然流向最有潜力的方向，这正是优先级排序的意义。

ICE=Impact×ConfidenceEffort\displaystyle \text{ICE} = \frac{\text{Impact} \times \text{Confidence}}{\text{Effort}}
公式通俗说明：一道“影响大、信心足、成本低”的菜，得分自然最高；一道“影响大但成本极高”的菜，可能不如几个中等影响但快速见效的实验。
  1. Impact（影响分）1-10 分，预估该实验对核心业务指标的影响程度。
    Impact∈[1,10]\displaystyle \text{Impact} \in [1, 10]
  2. Confidence（信心分）1-10 分，团队对“影响分估计”的把握程度，没把握就打低分。
    Confidence∈[1,10]\displaystyle \text{Confidence} \in [1, 10]
  3. Effort（成本分）1-10 分，需要的工程师人力与时间投入，分数越高成本越大。
    Effort∈[1,10]\displaystyle \text{Effort} \in [1, 10]
  4. ICE（综合得分）分子大、分母小时得分最高，直接决定实验的执行顺位。
    ICE=Impact×ConfidenceEffort\displaystyle \text{ICE} = \frac{\text{Impact} \times \text{Confidence}}{\text{Effort}}

结果决策机制

试菜结束后，主厨不急着下结论，而是召集店长、财务和领班开“上新评审会”。数据说新菜很受欢迎，但财务算了一笔账：食材成本太高，毛利还不如招牌菜。最终主厨决定：改进配方控制成本后，再走一轮试菜。

这正是 AI 产品团队做结果决策的成熟姿势：统计显著不等于可以上线。决策机制要依次回答三个问题——差异在统计上显著吗？这项改进在业务上值得吗？全量上线有风险，该如何分批放量？第一问靠显著性判断，第二问看业务价值的综合权衡，第三问则用灰度发布来兜底。

显著性判断是决策的第一道门，最常用的是双样本 Z 检验。它把两个版本的转化率差异标准化，得到一个 z 值，再与 1.96 这个临界值比较。

上新评审会的数据、成本、口碑三条线，就像显著性、业务价值、灰度策略三个关卡。数据显著是入场券，业务价值是通行证，灰度发布是安全带——三道全过，一道新菜才正式登上菜单。

z=p^A−p^Bp^(1−p^)(1nA+1nB)\displaystyle z = \frac{\hat{p}_A - \hat{p}_B}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_A} + \frac{1}{n_B})}}
公式通俗说明：z 值像“两个版本差距相对于普通波动的倍数”——当差距大到随机波动都解释不了时，我们才信这个差距是真的，而不是运气。
  1. p̂A 与 p̂B（两组转化率）分别表示对照组和实验组的观测转化率。
    p^A=xAnA,p^B=xBnB\displaystyle \hat{p}_A = \frac{x_A}{n_A},\quad \hat{p}_B = \frac{x_B}{n_B}
  2. p̂（合并转化率）两组样本合并后的转化率，用于估计总体方差。
    p^=xA+xBnA+nB\displaystyle \hat{p} = \frac{x_A + x_B}{n_A + n_B}
  3. z（检验统计量）组间差异标准化后的值，衡量差异相对于波动的倍数。
    z=p^A−p^Bp^(1−p^)(1nA+1nB)\displaystyle z = \frac{\hat{p}_A - \hat{p}_B}{\sqrt{\hat{p}(1-\hat{p})(\frac{1}{n_A} + \frac{1}{n_B})}}
  4. 判定条件当 z 的绝对值大于 1.96 时，p 值小于 0.05，判定为统计显著。
    ∣z∣>Z0.025=1.96\displaystyle |z| > Z_{0.025} = 1.96

AI 应用场景

智能推荐改版实验

阶段：模型迭代与验证

解决的问题：传统做法是推荐算法改版直接全量上线，用周均点击率做前后对比。一旦点击率下降，无法判断是算法问题还是季节、热点等外部因素干扰，还会造成几天甚至数周的用户体验损失。引入实验文化后，新算法先进 10% 流量池跑 A/B 测试，用点击率和人均时长双指标对比，数据显著后再逐步放量。

具体案例：某电商 App 的推荐团队把“猜你喜欢”改版做成正式实验：对照组用旧策略、实验组用新策略，分流 10%，观察两周。第 5 天时实验组点击率显著高出 8%，团队决定扩流量到 50%，一周后稳定在 12% 提升，再全量发布。整个过程没有一次全量回滚。

对话机器人提示词调优实验

阶段：大模型应用效果评估

解决的问题：同一个大模型换一套提示词，回答质量和用户满意度差异很大，但人工评审主观性强、成本高。借助实验平台，把不同提示词策略分给不同用户，用“转人工率”和“对话完成率”作为核心指标，数据会自动告诉我们哪套提示词更受用户认可。

具体案例：某金融客服机器人团队准备上线新的提示词模板，内部对“专业严谨”与“亲切通俗”两种风格争论不休。团队把两种风格做了 A/B 测试，各分流 50%，一周后“亲切通俗”风格的转人工率降低了 18%，争论自然结束。

新功能立项的 ICE 评审机制

阶段：需求池管理与优先级排序

解决的问题：各业务线都提出自己的 AI 功能需求，产品例会上人人都说自己最重要，吵不出结果。引入 ICE 评分表后，每个需求由提案人先自评“影响分、信心分、成本分”，再由评审会校准，得分排名公开透明，资源分配有了客观依据。

具体案例：某团队一个季度的候选 AI 功能有三个，呼声最高的是“会员人脸免密支付”，但 ICE 评分后发现“员工刷脸打卡”成本低、信心高、影响中等，综合得分更高。最终团队先做了后者，两周上线，节省了行政每月 20 人时的统计工作量。

Python 演示

python39 行
import mathimport random  def normal_cdf(x):    """标准正态分布的累积分布函数(近似)"""    return 0.5 * (1 + math.erf(x / math.sqrt(2)))  def ab_test_pvalue(conv_a, n_a, conv_b, n_b):    """计算 A/B 两组转化率的 Z 检验 p 值"""    p_a = conv_a / n_a    p_b = conv_b / n_b    p_pool = (conv_a + conv_b) / (n_a + n_b)    se = math.sqrt(p_pool * (1 - p_pool) * (1 / n_a + 1 / n_b))    z = (p_b - p_a) / se    p_value = 2 * (1 - normal_cdf(abs(z)))    return z, p_value  def simulate_experiment():    """模拟一次 A/B 实验并输出结论"""    random.seed(42)    n_a, n_b = 5000, 5000    true_rate_a, true_rate_b = 0.10, 0.12    conv_a = sum(1 for _ in range(n_a) if random.random() < true_rate_a)    conv_b = sum(1 for _ in range(n_b) if random.random() < true_rate_b)    z, p_value = ab_test_pvalue(conv_a, n_a, conv_b, n_b)    print(f"版本A转化率: {conv_a/n_a:.4f} ({conv_a}/{n_a})")    print(f"版本B转化率: {conv_b/n_b:.4f} ({conv_b}/{n_b})")    print(f"Z值: {z:.4f}, p值: {p_value:.4f}")    if p_value < 0.05:        print("结论: 差异显著, 版本B优于版本A, 可以灰度发布")    else:        print("结论: 差异不显著, 建议继续累积样本量")  if __name__ == "__main__":    simulate_experiment()
目的：用 Z 检验判断 A/B 实验中两个版本的转化率差异是否显著，模拟一次真实实验并给出是否可发布的结论。
  1. conv_a = sum(1 for _ in range(n_a) if random.random() < true_rate_a)模拟版本A的转化人数，每个用户按真实转化率随机转化
  2. conv_b = sum(1 for _ in range(n_b) if random.random() < true_rate_b)模拟版本B的转化人数
  3. p_a = conv_a / n_a计算版本A的观测转化率
  4. p_pool = (conv_a + conv_b) / (n_a + n_b)计算合并转化率，为估算总体方差做准备
  5. se = math.sqrt(p_pool * (1 - p_pool) * (1 / n_a + 1 / n_b))计算标准误，反映抽样波动的大小
  6. p_value = 2 * (1 - normal_cdf(abs(z)))计算双尾 p 值，用于显著性判断
  7. if p_value < 0.05:用 0.05 作为显著性阈值，决定是否可以发布

常见误区

误区实验结果显示 p 值小于 0.05，说明新功能有效，可以直接全量发布，不用再看其他指标。

正解p 值小于 0.05 只代表“差异不太可能是偶然”，但它没有告诉我们差异有多大、方向是否正确、业务上值不值得。一个 p 值极小但提升只有 0.1% 的实验，业务价值可能远低于一个 p 值略大但提升 15% 的实验。正确的做法是先看显著性，再评估业务价值和成本，最后决策是否上线。

为何常见：教科书和工具默认输出 p 值，容易让人把它当成“是否上线”的唯一开关，忽略了统计显著与实际显著之间的差别。

误区实验上线才两天，打开实验平台看到 p 值已经很显著，就急着准备上线材料。

正解提前查看结果并频繁做显著性检验，会大幅增加假阳性概率。样本量应该在实验开始前根据公式算好，实验跑够预定天数再看结论。如果中途看到显著就停，很可能只是把偶然波动当成了真实效果。

为何常见：业务节奏快，大家都急着出结论，忽略了“观测到显著就停止”会破坏统计检验的前提。

误区实验结论不显著或效果为负，就觉得这个项目白做了，把数据一删，当什么都没发生过。

正解失败的实验是团队的重要资产。它记录了“这条路走不通”以及用户真实反应的证据，能帮助团队避免重复踩坑。科学餐厅的“黑名单备忘录”之所以有价值，正在于它把失败转化成了可复用的知识。失败归因、快速复盘、知识沉淀，才是实验文化成熟的标志。

为何常见：很多团队把实验结果和负责人能力挂钩，失败会被问责，于是大家倾向于隐藏失败，自然认为失败等于白做。

误区实验平台配置了 50:50 分流，实际流量就一定是 50:50，不需要额外检查分流是否均匀。

正解缓存、日志丢失、端上延迟、用户重复进入实验等原因，都可能让实际分流比例与预期显著不一致，这就是 SRM 问题。发生 SRM 时，实验组和对照组的用户特征可能已经不均衡，任何结论都不可信。平台需要定期做卡方检验来监控分流质量。

为何常见：分流配置是在后台完成的，肉眼看不到日志细节，大家默认“配置了就生效”，忽略了实际数据链路可能出问题。

面试题

Q1. A/B 测试的核心目的是什么？

单选题 · easy

  • A.用统计方法验证功能改进效果← 正确答案
  • B.用最少代码开发新功能
  • C.替代用户调研的一切手段
  • D.让所有实验都获得显著结果

答案：A。A/B 测试的本质是科学对照验证，用数据判断哪个版本更好。B 说的是开发效率，C 夸大了实验的适用范围，D 违背了实验的客观性——实验的意义是发现真相，而不是追求显著。

Q2. 关于 p 值的理解，正确的是？

单选题 · mid

  • A.p 值是实验组比对照组好用的概率
  • B.p 值是零假设成立时观测结果的概率← 正确答案
  • C.p 值越小代表实验效果一定越好
  • D.p 值大于 0.05 代表完全没有差异

答案：B。p 值是在零假设（两版本无差异）为真时，观测到当前或更极端结果的概率。它衡量的是“偶然性有多大”，而不是“新版本更好的概率”。p 值小只说明差异不太像偶然，实际效果大小还要看提升率；p 值大也不等于没有差异，可能是样本量不足。

Q3. 下列哪些属于实验平台的核心模块？

多选题 · mid

  • A.流量分配← 正确答案
  • B.数据采集← 正确答案
  • C.统计引擎← 正确答案
  • D.自动付款

答案：ABC。实验平台的四个核心模块是流量分配、数据采集、统计引擎和结果可视化。流量分配保证分流随机均匀，数据采集负责埋点记录，统计引擎计算显著性，可视化让结论易读。自动付款是业务系统功能，与实验平台无关。

Q4. 样本量估算中，想让实验能检测出更小的提升 δ，样本量需要如何变化？

单选题 · easy

  • A.样本量需要更少
  • B.样本量保持不变
  • C.样本量需要更多← 正确答案
  • D.与检测大小无关

答案：C。从样本量公式可以看出，δ 在分母上，δ 越小，n 越大。就像试菜时你想分辨出“0.5 分”的口味差异，比分辨出“1 分”的差异需要更多桌客人。如果想发现更细微的改进，就要准备更大的样本量。

Q5. 关于实验失败，正确的做法包括？

多选题 · mid

  • A.归因失败原因并记录← 正确答案
  • B.快速复盘形成知识沉淀← 正确答案
  • C.营造心理安全鼓励如实报告← 正确答案
  • D.立刻追责相关开发者

答案：ABC。成熟的实验文化把失败当资产：先归因是假设、实现还是设计的问题，再快速复盘，并把结论沉淀进知识库。心理安全是前提，一旦追责，就没人敢如实汇报失败数据。D 是典型的破坏实验文化的做法。

Q6. SRM（Sample Ratio Mismatch）问题指的是什么？

单选题 · mid

  • A.实验组对照组样本量一致
  • B.实际分流比例与预期显著不符← 正确答案
  • C.两个版本的用户完全重合
  • D.用户被多次计入样本统计

答案：B。SRM 指实际分流比例与配置的预期比例出现显著偏差，比如配置 50:50 实际却是 45:55。这通常说明实验环境有问题，结论不可信。A 是正常情况，C 和 D 是其他类型的数据污染问题。

Q7. 一次实验对同一批数据做了 20 次显著性检验，每次都取 α=0.05，整体犯第一类错误的概率约为多少？

单选题 · hard

  • A.约 5%
  • B.约 20%
  • C.约 35%
  • D.约 64%← 正确答案

答案：D。单次检验假阳性概率 5%，20 次独立检验至少出现一次假阳性的概率为 1-(0.95)^20，约等于 64%。这就是多重比较问题。就像主厨连续试 20 道其实没有差异的菜，大约有 64% 的概率会误判其中至少一道“有差异”，所以实验的假设检验次数越多，越要警惕假阳性膨胀。

Q8. 以下哪些属于培养团队数据思维的方式？

多选题 · easy

  • A.建立实验知识分享会← 正确答案
  • B.让每个需求都带预期指标← 正确答案
  • C.只让数据分析师看数据
  • D.用统一实验术语沟通← 正确答案

答案：ABD。数据思维是全员素养：分享会让经验流动，需求带预期指标让设计有据可依，统一术语让协作顺畅。C 恰恰相反，把数据封锁在分析师手里会扼杀团队的数据敏感度。

Q9. ICE 评分法的三个输入是什么？

单选题 · mid

  • A.Idea, Code, Engine
  • B.Impact, Confidence, Effort← 正确答案
  • C.Innovation, Cost, Effect
  • D.Information, Control, Evaluation

答案：B。ICE 代表 Impact（影响）、Confidence（信心）、Effort（成本）。综合得分等于影响乘信心再除以成本，用于对实验需求进行优先级排序。其他选项都是干扰项。

Q10. 灰度发布相对于一步全量上线的优势是？

单选题 · hard

  • A.确保产品完全零缺陷
  • B.逐步放量降低风险可回滚← 正确答案
  • C.省去后续所有测试环节
  • D.让所有用户同时看到新版本

答案：B。灰度发布把流量从 10% 到 50% 再到 100% 逐步放开，每步都监控核心指标，一旦异常可以快速回滚，把风险控制在最小范围。它不能保证零缺陷，也不能替代测试，更不是让所有用户同时看到新版本——那正是它要避免的。