想象你是一家餐厅的店长。昨晚，主厨兴冲冲端来一盘“AI秘制红烧肉”——用人工智能辅助调味的当家新品，卖相诱人、香气扑鼻。你当然想直接把它写进菜单大干一场，但冷静一想：万一客人不买账呢？万一它拖慢出餐、砸了招牌呢？于是你决定先搞一场试吃活动：随机请一部分客人品尝新菜，另一部分照旧吃老菜，对比真实反馈；先让一两桌试，确认没问题再逐步扩大；同时盯紧好评率、复点率、投诉率这些数字；一旦有人吃出问题，立刻撤菜、恢复老菜谱。这场试吃活动的规则说明书——怎么请客、请多少人、看什么数字、何时叫停——就是 AI 产品经理口中的“A/B测试与灰度发布 PRD”。 接下来，我们就以这位店长的视角，把这份“试吃说明书”写成 AI 产品真实可用的 PRD 规范：从实验指标、分流设计、灰度策略，到回滚预案、评估窗口，再到 AI 独有的输出随机性问题，一步都不落下。你会发现，让 AI 功能安全地产生价值，靠的不是勇气，而是这一页纸上的规矩。

岗位关联

学会为 AI 功能设计 A/B 测试与灰度方案，是 AI 产品经理从“能把功能做出来”升级到“能安全、可控、可证明地把功能做上线”的分水岭——你的每一个上线决策，从此都有数据依据和风险兜底。

目录
  1. 可视化演示
  2. 实验指标体系：把“好吃”翻译成数字
  3. 分流方案设计：随机分桌的学问
  4. 灰度发布策略：小步快跑，逐步放量
  5. 回滚机制规范：先开枪后瞄准的预案
  6. 评估窗口设计：给耐心设定边界
  7. 非确定性管理：驯服善变的 AI
  8. PRD 书写规范：一页纸的团队契约
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

演示AI功能灰度发布流程、A/B实验核心指标与护栏指标对比及回滚触发机制，展示灰度方案的PRD规范要点。

本节配有交互动效（进入视口后自动加载，约 3KB）。

灰度发布流程 1%阶段（1-3天）：验证基本可用性和系统稳定性 5%阶段（3-7天）：小规模用户效果验证 50%→全量：核心指标达标后逐步扩大流量 灰度阶段 = f（流量比例，观察周期，指标达标） 灰度发布从1%逐步扩大到全量

实验指标体系：把“好吃”翻译成数字

试吃活动开始前，店长阿明把厨师长老周和常客王姐叫到包间，问了一个扎心的问题：“什么叫这道菜成功了？”老周说“我吃着还行”，王姐说“挺新鲜的”。阿明直摇头——没有数字，三天后两拨人准吵起来。于是他定下三个硬指标：好评率必须比老菜单高 3 个百分点，出餐速度不能慢 5 秒，差评投诉每周不能超过 1 条。王姐感叹：“这才叫规矩。”

对应到 AI 产品，A/B 测试的 PRD 第一件事也是“把成功翻译成数字”。AI 功能是否带来正向收益，不能靠“感觉更好用”这种主观判断。PRD 必须先定义实验指标体系，通常分两层：核心指标衡量收益，护栏指标守住底线。核心指标直接回答“AI 功能有没有价值”，比如智能推荐的点击率、AI 助手的任务完成率；护栏指标回答“有没有伤及无辜”，比如响应延迟、崩溃率、投诉量。两者都要在 PRD 里写清埋点方案和计算口径——按人均还是按总量、按账号还是按设备，一旦定死，中途不许改，否则数据就对不齐了。

衡量 AI 功能效果，最常用的是相对提升率。它把实验组和对照组的指标差值转化为百分比，方便跨功能、跨版本对比：

王姐后来问：“为什么不用好评总数直接比？”阿明解释：周一和周三客流量不一样，直接比总数不公平；灰度阶段实验组人少、对照组人多，直接比绝对值更会失真。所以先看相对提升率、再看统计显著性，才不会让“人多”冒充“效果好”。定了这三个数字，后厨、服务员、老板才有了共同语言——实验指标体系，就是这家餐厅的“共识度量衡”。

提升率=P实验组−P对照组P对照组×100%\displaystyle \text{提升率} = \frac{P_{\text{实验组}} - P_{\text{对照组}}}{P_{\text{对照组}}} \times 100\%
简单说：先算实验组比对照组“好多少”，再除以对照组的底子，得到“好百分之几”。
  1. 实验组指标实验组用户使用 AI 新功能后的指标观测值，比如点击率从 6.0% 提升到了 6.8%。
    P实验组\displaystyle P_{\text{实验组}}
  2. 对照组指标对照组用户使用旧功能的同一指标值，作为比较的基准线。
    P对照组\displaystyle P_{\text{对照组}}
  3. 分子差值实验组减去对照组，算出绝对提升量，代表 AI 功能带来的“净增量”。
    P实验组−P对照组\displaystyle P_{\text{实验组}} - P_{\text{对照组}}
  4. 分母与百分号除以对照组再乘 100%，把绝对差异归一化成百分比，让 6% 提到 6.8% 和 60% 提到 68% 可以直接比较。
    P实验组−P对照组P对照组×100%\displaystyle \frac{P_{\text{实验组}} - P_{\text{对照组}}}{P_{\text{对照组}}} \times 100\%

分流方案设计：随机分桌的学问

分桌试吃是门手艺。阿明没有让服务员“看谁顺眼就端新菜过去”，而是按桌号尾号随机抽——爱尝鲜的年轻人和保守的老客人都有机会进实验组。他还特意嘱咐：王姐这桌今天吃了新菜，明天绝不能又换回老菜，必须始终待在实验组，否则数据就“串味”了。

这就是分流方案设计。A/B 测试的本质，是把用户随机分到两个平行的世界：对照组用旧功能，实验组用新功能。PRD 要写清楚三件事：分流比例、用户分桶规则、组别设置。分流比例通常从 5% 或 10% 起步，随灰度阶段逐步扩大；用户分桶用 user_id 做一致性哈希，保证同一用户永远落在同一组，不会今天在实验组、明天在对照组；组别设置上，实验组与对照组在分流池内各占一半，避免样本量悬殊。

比这三件事更重要的是样本量估算。比例太小，实验跑完也看不出差异。PRD 里可以用最小样本量公式预先算好“每组需要多少人”：

阿明把“每组至少 30 桌，不够就延长时间”写进了试吃公告。老周嫌麻烦，阿明说这是数学决定的——样本太少，哪怕新菜真的更好，也可能被三五个客人的口味波动给淹没。PRD 里的样本量估算，就是在替实验“提前攒够证据”，让结论在开跑之前就已经“稳”了。

n=2(Zα/2+Zβ)2×p×(1−p)δ2\displaystyle n = \frac{2 \left( Z_{\alpha/2} + Z_{\beta} \right)^{2} \times p \times (1-p)}{\delta^{2}}
这个公式回答一个问题：在给定置信度和预期效果下，每组至少要有多少用户，实验结论才可信。
  1. 每组样本量算出来的结果表示实验组和对照组各需要多少用户，两组对称。
    n\displaystyle n
  2. 置信度分位95% 置信度下取 1.96，代表“结论出错的概率控制在 5% 以内”。
    Zα/2=1.96\displaystyle Z_{\alpha/2} = 1.96
  3. 统计功效分位通常取 0.84（即 80% 功效），代表“效果真的存在时，实验能检测出来的概率”。
    Zβ=0.84\displaystyle Z_{\beta} = 0.84
  4. 基线概率当前功能的指标值，比如点击率 6%，p 越大，所需样本量的变化越敏感。
    p=0.06\displaystyle p = 0.06
  5. 最小可检测提升你想分辨出的最小差异，比如 0.8 个百分点。δ 越小，实验越“较真”，需要的样本就越多。
    δ=0.008\displaystyle \delta = 0.008

灰度发布策略：小步快跑，逐步放量

新菜周一一早就端上每一张桌子？阿明不敢。他定的节奏是：第一周只给两桌熟客试吃；确认没问题，第二周扩大到 20% 的桌子；第三周 50%；第四周全店供应。每走一步，都要检查好评率和出餐速度，达标才迈下一步。这叫“小步快跑”。

灰度发布就是分层放量地把新功能推向全部用户。它和 A/B 测试天然是一对：灰度阶段的每一步放量，本身就是一个 A/B 测试——对照组继续吃老菜，实验组吃新菜。PRD 里的灰度策略要明确两件事：阶段划分与放量节奏。典型节奏如 5% → 15% → 40% → 100%，每个阶段至少持续一个完整评估周期，且必须满足“进入下一阶段的条件”：核心指标显著正向、护栏指标无越界、线上无 P1 级事故。

放量比例不是拍脑袋定的，常用“逐级翻倍、封顶 100%”的规则来设计节奏：

老周问：“为什么不能从 1% 直接跳到 100%？”阿明打了个比方：让全店客人同时当小白鼠，一旦新菜有问题，砸的是整家店的招牌。灰度放量就像往水池里渐进加水——先看涟漪，再放心灌满。每一个灰度阶段，都在为下一个阶段“买保险”。

Rk=min⁡(100%,  R0×2k−1)\displaystyle R_{k} = \min \left( 100\%,\; R_{0} \times 2^{k-1} \right)
从初始小比例开始，每推进一个阶段放量翻倍，直到全量为止。既快又稳。
  1. 第 k 阶段比例灰度第 k 个阶段实验组覆盖的用户比例，是节奏控制的直接对象。
    Rk\displaystyle R_{k}
  2. 初始比例起点通常设 1% 到 5%，先让最少的人接触新功能，把风险压到最小。
    R0\displaystyle R_{0}
  3. 翻倍因子每推进一个阶段放量翻倍，保证节奏既激进又可预期。
    2k−1\displaystyle 2^{k-1}
  4. 封顶操作比例最多到 100%，防止数学上继续翻倍而超过全量，也提醒团队“全量不是终点，监控才是”。
    min⁡(100%,  R0×2k−1)\displaystyle \min \left( 100\%,\; R_{0} \times 2^{k-1} \right)

回滚机制规范：先开枪后瞄准的预案

试吃第 3 天，王姐带着三个朋友来，吃完当晚集体闹肚子。阿明没有先开会讨论“到底是不是新菜的问题”，而是立刻执行预案：后厨撤掉新菜、恢复老菜谱，同时保留新菜样品送检。等查明原因，再决定要不要重新试。王姐后来专门来道谢：“你们这反应速度，像个靠谱的店。”

回滚是对灰度过程的安全兜底。AI 功能一旦上线，影响是自动化、规模化的，慢一步决策，坏影响就多扩散一批用户。所以 PRD 里的回滚机制必须“先开枪后瞄准”。回滚机制规范包含四部分。触发条件：核心指标显著跌破回滚线、护栏指标越过红线（如 P95 延迟超 2 秒）、出现 P0 级事故或投诉激增。回滚预案：代码与模型版本快照随时可恢复、灰度开关一键关闭。责任流程：明确谁有权叫停，通常产品负责人与技术负责人双签，P0 事故任何一方可单独叫停。复盘机制：回滚后定位根因、修复、按原流程重新灰度。

回滚触发条件最好写成可判定的布尔表达式，避免临场争议：

阿明在试吃公告里专门加了一页“紧急预案”：谁负责撤菜、厨具怎么消毒、老菜如何快速恢复。大家都笑他小题大做，直到拉肚子事件发生，所有人才发现，预案省下的每一分钟，都是在保住顾客的信任。回滚不是承认失败，而是灰度发布里最体面的退场方式。

回滚=1[MB<MA−θ核心  或  GB>G红线]\displaystyle \text{回滚} = \mathbb{1}\left[ M_{B} < M_{A} - \theta_{\text{核心}} \; \text{或} \; G_{B} > G_{\text{红线}} \right]
简单说：实验组核心指标跌得太狠，或者护栏指标越了红线，就立刻回滚，不带犹豫。
  1. 核心指标跌幅条件实验组核心指标低于对照组减去容忍阈值，说明新功能明显更差，不能再用“偶然波动”自我安慰。
    MB<MA−θ核心\displaystyle M_{B} < M_{A} - \theta_{\text{核心}}
  2. 护栏指标越界条件实验组护栏指标（如响应延迟、投诉率）超过红线，说明新功能正在伤害基础体验。
    GB>G红线\displaystyle G_{B} > G_{\text{红线}}
  3. 或运算两个条件任一成立即触发，不需要两个同时满足，保证回滚的及时性。
    MB<MA−θ核心  或  GB>G红线\displaystyle M_{B} < M_{A} - \theta_{\text{核心}} \; \text{或} \; G_{B} > G_{\text{红线}}
  4. 指示函数方括号内条件成立时取 1，表示“执行回滚”；不成立取 0，表示“继续观察”。
    1[条件]={1条件成立0条件不成立\displaystyle \mathbb{1}[\text{条件}] = \begin{cases} 1 & \text{条件成立} \\ 0 & \text{条件不成立} \end{cases}

评估窗口设计：给耐心设定边界

试吃第一晚好评率高达 95%，王姐却泼冷水：“大家图新鲜罢了，一周后腻了，复点率才会暴露真相。”阿明于是把评估窗口定成 14 天，横跨两个完整星期——工作日和周末的客流差异都要覆盖，数据才可信。他还在公告里注明：第 14 天晚上 12 点数据冻结，之后来的客人不再计入统计。

评估窗口是 PRD 里最容易拍脑袋的部分。跑太短，新奇效应会高估收益；跑太长，AI 功能迭代又等不起。科学的做法是把它拆成两段：稳定期 + 观察期。稳定期是版本切换后指标从波动到收敛的缓冲时间，一般半天到 2 天；观察期是正式统计对比的时间，至少覆盖一个完整业务周期。窗口内按天记录核心指标趋势，观察曲线是否收敛；窗口结束时冻结数据，保证结果可审计。结果判定规则也要提前写好：提升多少、显著性如何、护栏如何，分别对应全量、继续、回滚，不允许临时拍板。

评估窗口可以写成简洁的时长约束：

阿明把“14 天”写进公告时说：早一天下结论是武断，晚一天下结论是浪费。试吃不是考一百分的随堂测验，而是看长期口碑的月考。评估窗口，就是给 AI 功能一个完整表现的机会，也是给决策者一个“到点就拍板”的纪律。

T评估=T稳定+T观察,T观察≥T业务周期\displaystyle T_{\text{评估}} = T_{\text{稳定}} + T_{\text{观察}}, \quad T_{\text{观察}} \geq T_{\text{业务周期}}
总评估时间 = 稳定缓冲 + 正式观察，而观察期至少要包含一个完整的业务周期（比如一周）。
  1. 稳定期新版本切换后，指标从不稳定到收敛的缓冲时间，通常半天到 2 天。
    T稳定\displaystyle T_{\text{稳定}}
  2. 观察期正式统计对比的时长，是评估窗口的主体，结论只依据这段时间的数据。
    T观察\displaystyle T_{\text{观察}}
  3. 业务周期约束观察期至少覆盖一个完整业务周期，比如电商的一周（含周末与工作日），避免只看到单一口味。
    T观察≥T业务周期\displaystyle T_{\text{观察}} \geq T_{\text{业务周期}}
  4. 相加构成总量稳定期与观察期相加得到总评估窗口，PRD 里直接写成一个具体天数。
    T评估=T稳定+T观察\displaystyle T_{\text{评估}} = T_{\text{稳定}} + T_{\text{观察}}

非确定性管理：驯服善变的 AI

老周发现一个头疼的问题：同一道“AI 秘制红烧肉”，今天主厨手抖多放了盐，明天换了个帮厨又偏甜。客人的好评差评，到底是菜品设计的问题，还是厨师心情的问题？根本分不清。阿明于是立下规矩：试吃期间锁定菜谱版本，连盐罐子都称重登记；每位试吃客人在吃完后回访两次，取平均感受再入账。

这正是 AI 功能与普通功能最大的不同：非确定性。同一个 Prompt，调用两次大模型，输出可能不同。如果 PRD 不管控这种随机性，A/B 测试的结论就会被“模型抽风”污染——你以为测的是功能价值，实际测的是模型当天的运气。所以 PRD 中的非确定性管理包含四件事：版本锁定、输出一致性、质量多元化评估、降级策略。版本锁定要求在 PRD 中登记模型版本号、Prompt 版本、temperature 等推理参数，实验期间不得改动；输出一致性要求对同一输入多次采样，统计一致率作为前置门槛；质量评估不能只看业务指标，还要看正确率、格式合法率、安全合规率；降级策略则保证 AI 不可用时自动回退到规则引擎或人工兜底。

输出一致性是最直观的“测谎仪”：

王姐说：“难怪试吃问卷要回访两次。”阿明点头：AI 这道菜，必须得多尝几口才配评价。版本锁定和多次采样，是给“善变的菜”上的双保险——把随机性关进笼子里，实验结论才不会被带偏。

一致率=N一致N采样×100%\displaystyle \text{一致率} = \frac{N_{\text{一致}}}{N_{\text{采样}}} \times 100\%
同一句话问模型 N 次，回答一致的次数占比越高，说明输出越稳定，实验越可信。
  1. 采样次数对同一个输入重复调用模型的次数，建议 10 到 30 次，太少没有统计意义。
    N采样\displaystyle N_{\text{采样}}
  2. 一致次数输出语义一致或完全一致的次数，是衡量稳定性的分子。
    N一致\displaystyle N_{\text{一致}}
  3. 百分率转换两者相除再乘 100%，得到一致率；PRD 中通常约定门槛，比如不低于 90%。
    N一致N采样×100%\displaystyle \frac{N_{\text{一致}}}{N_{\text{采样}}} \times 100\%

PRD 书写规范：一页纸的团队契约

试吃活动前，阿明把一页纸的方案贴在厨房门口：目标、分桌规则、看哪几个数、什么情况撤菜、观察多久、谁拍板。后厨负责执行，服务员负责引导，店长负责盯数据，谁有疑问就去看那张纸。三个星期下来，团队没有因为“新菜好不好”吵过一次架——因为答案不靠吵，靠纸。

AI 功能灰度发布的 PRD，本质就是团队的“契约”。它让研发知道埋什么点，测试知道验什么场景，运营知道盯什么指标，老板知道什么条件下可以全量。一份合格的 A/B 测试与灰度 PRD 应有固定结构：实验背景与假设、实验变量描述（功能开关、变量名、AI 模型与参数版本）、实验设计（分流比例、分桶口径、组别设置、样本量）、指标定义（核心指标 + 护栏指标 + 埋点方案）、灰度策略（阶段划分、放量节奏、进入下阶段条件）、评估与回滚（评估窗口、数据冻结、回滚预案、责任流程）、决策矩阵、风险声明（AI 幻觉、错误输出、合规风险与缓解措施）。

决策矩阵是整份 PRD 的“最终裁决条款”，用三态逻辑覆盖所有实验结果：

三周后，新菜转正，王姐成了常客。阿明把那张贴了三个星期的纸收进抽屉——上面的每一个数字，都是团队没吵架的原因。PRD 规范的意义就在于此：让 AI 功能的每一次变化，都有据可依、有数可查、有人负责。

决策={全量MB−MA>θ 且显著继续∣MB−MA∣≤θ回滚MB−MA<−θ\displaystyle \text{决策} = \begin{cases} \text{全量} & M_{B} - M_{A} > \theta\ \text{且显著} \\ \text{继续} & \lvert M_{B} - M_{A} \rvert \leq \theta \\ \text{回滚} & M_{B} - M_{A} < -\theta \end{cases}
结果好就全量，结果不明就继续观察，结果差就回滚。三种情况提前写死，执行时不许夹带私货。
  1. 全量条件实验组超过对照组一个阈值且统计显著，说明新功能确实更好，可以放心全量。
    MB−MA>θ\displaystyle M_{B} - M_{A} > \theta
  2. 继续条件两组差距在阈值以内，说明证据不足，既不能确认收益也不能确认损失，应扩大样本继续观察。
    ∣MB−MA∣≤θ\displaystyle \lvert M_{B} - M_{A} \rvert \leq \theta
  3. 回滚条件实验组低于对照组超过阈值，判定为负向效果，立即回滚止损。
    MB−MA<−θ\displaystyle M_{B} - M_{A} < -\theta
  4. 三态互斥三种情况互斥且覆盖所有结果，PRD 照此执行，团队成员各司其职，不允许临时修改标准。
    决策∈{全量,继续,回滚}\displaystyle \text{决策} \in \{ \text{全量}, \text{继续}, \text{回滚} \}

AI 应用场景

电商“AI 猜你喜欢”改版灰度

阶段：灰度发布与实验评估

解决的问题：推荐模型升级属于高风险改动，直接全量若导致相关性倒退，主页点击率和 GMV 会立刻受损。传统做法是上线后看大盘，但大盘波动无法归因。PRD 先行定义点击率、GMV、人均浏览深度为核心指标，延迟与投诉为护栏指标，先以 5% 分流实验，显著后再梯度放量，把“改版风险”转化为“可验证的收益”。

具体案例：某电商 App 对“AI 猜你喜欢”模型 v2 做 A/B 测试，PRD 约定 5% → 15% → 40% 放量与 14 天评估窗口，点击率相对提升 8% 且 P95 延迟不超过 1.5 秒才全量。第 3 天监控发现某品类推荐引发投诉率上升，触发回滚预案，一键关闭实验开关，定位为训练数据污染后修复重试。

智能客服 Prompt 优化 A/B 测试

阶段：实验设计与指标评估

解决的问题：客服机器人回复风格改版（新 Prompt）的效果难以量化，传统办法靠人工抽检，样本少且主观。PRD 定义“一次解决率、用户满意度、转人工率”为核心指标，锁定模型版本与 Prompt 版本，并对同一问题多次采样测一致性，确保回答风格的差异来自 Prompt 本身而非随机采样。

具体案例：某银行智能客服在 10% 流量上运行 7 天实验，新 Prompt 让一次解决率提升 12 个百分点，用户满意度上升，且输出一致率达到 92%、超过 PRD 门槛。决策矩阵判定“全量”，客服团队据此把新 Prompt 推广到全部会话。

内容平台 AI 写稿助手灰度

阶段：评估窗口与回滚兜底

解决的问题：AI 批量生成营销文案质量波动大，直接上线可能产生低质或违规内容。PRD 定义合规率、采纳率、编辑修改率为核心指标，回滚条件为合规率低于 95%，并预设降级路径：AI 生成失败时自动回退到人工模板库。

具体案例：某营销平台灰度 AI 文案助手，评估窗口 14 天，数据冻结后判定采纳率提升 15%、合规率 97% 达标，随后全量上线。灰度期间曾有两天合规率逼近红线，运营按预案暂停放量并补充敏感词过滤规则，避免了一次内容事故。

Python 演示

python55 行
# -*- coding: utf-8 -*-"""模拟 AI 功能灰度发布中 PRD 驱动的 A/B 判定流程"""import mathimport random  class GrayPRD:    """灰度发布 PRD 配置对象"""     def __init__(self, feature_name, metric_name, split_ratio, eval_days):        self.feature_name = feature_name        self.metric_name = metric_name        self.split_ratio = split_ratio        self.eval_days = eval_days  class ABTester:    """基于 z 检验的显著性判定器"""     def __init__(self):        self.z_threshold = 1.96     def judge(self, n_a, conv_a, n_b, conv_b):        p_a = conv_a / n_a        p_b = conv_b / n_b        p_pool = (conv_a + conv_b) / (n_a + n_b)        se = math.sqrt(p_pool * (1 - p_pool) * (1.0 / n_a + 1.0 / n_b))        z = (p_b - p_a) / se if se > 0 else 0.0        return z  def run_gray_stage(prd, tester, total_users, base_rate, lift):    """执行单个灰度阶段并判断是否继续放量"""    n_b = int(total_users * prd.split_ratio)    n_a = total_users - n_b    conv_a = sum(1 for _ in range(n_a) if random.random() < base_rate)    conv_b = sum(1 for _ in range(n_b) if random.random() < base_rate + lift)    z = tester.judge(n_a, conv_a, n_b, conv_b)    keep = z > tester.z_threshold    print("指标=%s 占比=%d%% z=%.2f 判定=%s"          % (prd.metric_name, int(prd.split_ratio * 100), z,             "继续放量" if keep else "保持观察"))    return keep  if __name__ == "__main__":    stages = [0.05, 0.15, 0.30, 0.50]    prd = GrayPRD("智能回复推荐", "点击率", stages[0], 7)    tester = ABTester()    for ratio in stages:        prd.split_ratio = ratio        ok = run_gray_stage(prd, tester, 50000, 0.060, 0.008)        if not ok:            print("未达标:按 PRD 回滚预案停止放量并恢复旧版本")            break
目的：模拟 AI 功能按 PRD 设定的分流比例逐级灰度，每一步用 z 检验判断实验组是否显著优于对照组，决定“继续放量”还是“保持观察”。
  1. self.z_threshold = 1.9695% 置信度对应的 z 值阈值，是显著性判定的“及格线”。
  2. se = math.sqrt(p_pool * (1 - p_pool) * (1.0 / n_a + 1.0 / n_b))计算两组转化率差值的标准误，样本量越大标准误越小。
  3. z = (p_b - p_a) / se if se > 0 else 0.0把两组转化率差异转化为 z 分数，与 1.96 比较即可判定是否显著。
  4. n_b = int(total_users * prd.split_ratio)从 PRD 的分流比例算出实验组人数，比例随灰度阶段变化。
  5. conv_b = sum(1 for _ in range(n_b) if random.random() < base_rate + lift)模拟实验组用户发生转化的数量，lift 是 AI 功能带来的真实增益。
  6. keep = z > tester.z_thresholdPRD 决策规则的代码化：只有显著正向才允许继续放量。
  7. for ratio in stages:依次执行 5%、15%、30%、50% 四个灰度阶段，任何一个阶段不达标就按 PRD 停止并回滚。

常见误区

误区“AI 回答的评分拉个平均分，高就上线，低就回滚，哪需要那么多指标？”

正解平均分只回答“整体好不好”，回答不了“是否伤害了其他方面”。AI 输出有随机性，单次采样可能偏高也可能偏低；同时，核心指标涨了但延迟飙升、投诉增多，平均分再高也不能上线。PRD 要求核心指标、护栏指标、一致率多维度联合判断，就像试吃不能只看一道菜的平均口感，还要看出餐速度和食品安全。

为何常见：非技术人员习惯用“总分思维”评估事物，容易忽略 AI 功能的系统性风险。

误区“A/B 测试就是把流量五五分，跑两天看哪边数字高就选哪边。”

正解样本量由统计公式决定，5% 的小流量跑足够天数可能就够，50% 反而是过度暴露风险。两天时间往往不覆盖完整业务周期，周末和工作日的用户行为差异很大，且短期内存在新奇效应。正确做法是按 PRD 估算样本量、设定评估窗口，并用 z 检验判断“差异显著”，而非比较两个原始数字的大小。

为何常见：把 A/B 测试等同于“两个数字比大小”，忽略了统计推断的底层逻辑。

误区“大模型每次回答都不一样，数据全是噪音，A/B 测试对 AI 功能无效。”

正解非确定性可以通过工程手段管控：锁定模型版本、Prompt 版本和推理参数，对同一输入多次采样计算一致率，把一致率作为实验的前置门槛。随机性并不会让实验失效，只要把它控制在已知范围内，统计方法依然有效。就像试吃的厨师手抖，锁定盐量并多次回访取平均，结论依然可信。

为何常见：被 AI 的“创造性”吓住，忽略了实验设计中的版本控制与采样技巧。

误区“灰度出问题就赶紧让研发改代码重新发版，回滚不需要提前准备。”

正解灰度场景下回滚的核心是“快”，重新走一次发版流程太慢。正确做法是提前布好灰度开关（Feature Flag）、保存可恢复的模型与代码快照，出问题时一键关闭开关，让新功能流量瞬间归零。PRD 还要写明触发条件和责任人，避免出事后先开两个小时的会。

为何常见：把回滚等同于普通发版流程，忽略了灰度发布对响应速度的极端要求。

误区“上线后我自己盯着看板，有事就停，PRD 写那么多文档纯属浪费时间。”

正解PRD 是团队契约，不是个人备忘录。没有写清的触发条件、判定规则、责任人，出事后研发、产品、运营会互相甩锅、争论“该不该停”。而 AI 事故扩散极快，争论的每一分钟都在放大损失。把回滚线、决策矩阵、双签机制写进 PRD，本质是给团队装上一套“预设好的刹车程序”。

为何常见：低估了 AI 错误影响的规模化速度，高估了出事后团队协作的效率。

面试题

Q1. 下列哪项最能衡量 AI 功能是否带来正向收益？

单选题 · easy

  • A.模型推理过程中的平均耗时
  • B.服务器 CPU 使用率是否稳定
  • C.核心指标的相对提升率表现← 正确答案
  • D.灰度期间用户总登录次数

答案：C。核心指标（如点击率）的相对提升率直接回答“AI 功能有没有带来收益”。响应耗时和 CPU 使用率属于护栏或运维指标，登录次数属于活跃性指标，都不能单独证明收益。

Q2. 关于护栏指标，下列说法正确的是？

单选题 · easy

  • A.只在灰度末期才需要查看的数据
  • B.衡量不伤害其他方面的指标数据← 正确答案
  • C.用来直接提升实验组点击率数据
  • D.替代核心指标决策功能去留数据

答案：B。护栏指标用来保证新功能不伤害其他方面，比如响应延迟、投诉量，应全程监控而非末期才看。它不能替代核心指标做去留决策，只是“不伤害”的下限约束。

Q3. 关于灰度发布 PRD 的作用，下列说法正确的是？

单选题 · easy

  • A.多方对齐实验口径与判定规则← 正确答案
  • B.写明回滚预案与责任流程
  • C.用于替代测试用例交付质量团队
  • D.为上线决策提供可审计的依据

答案：A。PRD 的核心价值是作为团队契约：对齐口径、写明回滚与责任流程、提供审计依据。但它不能替代测试用例，测试验收仍由质量团队执行，两者分工不同。

Q4. 用户分桶（实验分桶）的核心原则是什么？

单选题 · mid

  • A.活跃用户优先进入实验组
  • B.按注册时间分成前后两组
  • C.同一用户始终落在同一组← 正确答案
  • D.实验组人数必须多于对照组

答案：C。分桶的核心是“稳定随机”：同一用户始终落在同一组，避免人群交叉污染。按活跃度或注册时间分组会引入选择偏差，组大小应以均分为原则而非单边倾斜。

Q5. 灰度发布“放量节奏”设计时，稳妥的做法是？

单选题 · mid

  • A.逐步放大流量且每阶段验证达标← 正确答案
  • B.一次性直接将流量放大到 100%
  • C.根据用户反馈随意调整放量比例
  • D.每天固定加 5% 且不做指标检查

答案：A。灰度稳妥做法是小步快跑：逐级放大流量，每阶段验证核心指标与护栏指标达标后才进入下一阶段。一次性放量、随意调整或无检查地递增，都违背了灰度控制风险的目的。

Q6. 以下哪些情况应触发 AI 功能回滚？

多选题 · mid

  • A.核心指标显著下跌超过阈值← 正确答案
  • B.护栏指标越过设定的红线← 正确答案
  • C.用户投诉率短期急剧上升← 正确答案
  • D.周末自然流量周期性下降

答案：ABC。核心指标显著下跌、护栏指标越界、投诉激增都是 PRD 中常见的回滚触发信号。周末自然流量下降是业务周期波动，与功能效果无关，不应触发回滚。

Q7. 为什么评估窗口要覆盖至少一个完整业务周期？

单选题 · mid

  • A.为了让实验组人数积累更多样本
  • B.避免只覆盖工作日漏掉周末差异← 正确答案
  • C.因为大模型训练需要七天数据
  • D.为了延长灰度发布的总持续时间

答案：B。业务（如电商）在工作日与周末的表现差异很大，只覆盖工作日的窗口会漏掉周末的用户行为模式，导致评估偏差。样本量由公式计算、训练数据与实验无关、延长时长也不是目的。

Q8. 最小可检测提升 δ 越小，所需样本量会？

单选题 · hard

  • A.所需的最小样本量保持不变
  • B.所需的最小样本量越来越小
  • C.所需的最小样本量先增后减
  • D.所需的最小样本量越来越大← 正确答案

答案：D。样本量公式中 δ 位于分母的平方项，δ 越小说明要分辨的差异越细微，所需的证据（样本）就越多。想检测出 0.1% 的提升，远比检测出 1% 的提升需要更多用户。

Q9. AI 功能因输出非确定性，评估时需要额外做哪些事？

多选题 · hard

  • A.锁定模型版本与提示词版本← 正确答案
  • B.同一输入重复调用评估一致性← 正确答案
  • C.评估期间持续调整模型参数
  • D.验证降级兜底路径是否可用← 正确答案

答案：ABD。锁定模型与提示词版本、多次采样评估一致率、准备降级兜底都是应对非确定性的标准手段。评估期间持续调整模型参数会污染实验，让结论无法归因，是典型错误。

Q10. PRD 中“继续观察”的决策条件是哪项？

单选题 · hard

  • A.两组差异未达显著且无明显趋势← 正确答案
  • B.实验组相对对照组提升显著稳定
  • C.实验组核心指标跌破回滚阈值线
  • D.护栏指标越界且告警持续升级中

答案：A。“差异未达显著且无明显趋势”代表证据不足，既不能确认收益也不能确认损失，应扩大样本继续观察。显著提升对应“全量”，跌破回滚线或护栏越界对应“回滚”。