想象你是“乐乐奶茶”总部的店长。研发室的同事端出一杯桂花酒酿奶茶，试喝好评如潮，但让它火遍全国靠的不是配方本身，而是一整套“推广工程”：是让店员现做现卖，还是提前装瓶放进自动售货机？出杯速度能不能跟上排队的人流？操作台怎么摆才顺手？顾客口味悄悄变了怎么办？先拿两家店做对比实验，还是一步到位全铺开？出了问题怎么迅速撤回？这些问题的答案，正是强化学习（RL）模型从训练到上线部署的全流程。本文用这杯奶茶的旅程，带你走一遍 RL 工程化的每一步：在线与离线部署的选择、推理延迟与吞吐优化、模型服务架构搭建、离线分布偏移修正、A/B 实验设计、灰度发布与回滚机制，以及上线后的监控与持续迭代。

岗位关联

掌握从训练到上线的全套 RL 工程方法，你就能把实验室里的策略安全、高效地送进生产环境，并持续守住它的效果——这是 RL 从论文走向真金白银的最后一公里，也是高级 RL 工程师的核心竞争力。

目录
  1. 可视化演示
  2. 部署模式对比
  3. 在线推理优化
  4. 模型服务架构
  5. 离线分布偏移
  6. 线上A/B实验
  7. 灰度发布回滚
  8. 监控持续优化
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示强化学习模型部署三模式：在线推理（STT→INF→ACT管道+量化/蒸馏/批处理/异步优化+吞吐量曲线）、离线RL分布偏移（行为策略数据vs目标策略OOD动作+Q值过估计对比）、灰度发布（SHD→1%→5%→25%→100%五阶段+A/B测试指标+回滚监控）。

本节配有交互动效（进入视口后自动加载，约 3KB）。

在线推理服务架构 STT→INF→ACT三阶段推理管道，状态管理维护会话上下文 量化/蒸馏/批处理/异步四种延迟优化技术 latency = f(quant, distill, batch, async) 平均延迟5ms，QPS 800+

部署模式对比

乐乐奶茶总部研发出一款“桂花酒酿”新配方，要在全国铺开。摆在店长面前有两条路：一是直营店接到点单现做现卖，顾客点什么就现场做什么；二是提前把成品装瓶放进自动售货机，顾客扫码直接拿走。前者灵活热乎，但要求出杯速度跟得上客流；后者省事稳定，但配方一旦装瓶就不能改了。这正是 RL 部署的“在线”与“离线”两种模式。

在线部署的 RL 模型常驻在服务进程里，每收到一个状态 \(s\)，就要在几十毫秒内算出一个动作 \(a\) 返回给业务系统——像店员当场接单、当场出杯。离线部署则完全不同：先用历史数据批量跑完一段推理，把结论存成表或策略文件，业务系统需要时直接查结果——像晚上灌装好的瓶装奶茶，白天只管卖。选哪种模式，核心看业务对“实时反馈”的要求：推荐、广告出价、自动驾驶这类高频决策必须在线；库存调配、路径规划这类低频决策，离线批量足够。但无论哪种，一次决策的总耗时都有一条“预算线”，超过预算，决策就失去了意义——就像顾客等了十五分钟，奶茶再好喝也不等了。

一杯奶茶的出杯时间由“拿杯贴标、调制、封口”三段组成，模型决策的耗时同样由预处理、推理、后处理三段组成。看清这三段分别花了多少时间、卡在哪一段，才知道该优化谁——这就是 RL 部署的第一步。

Tbudget=Tpre+Tinfer+TpostT_{\text{budget}} = T_{\text{pre}} + T_{\text{infer}} + T_{\text{post}}
一次 RL 决策的端到端耗时，由预处理、推理、后处理三段构成，任何一段超时都会让整个决策“迟到”。
  1. 端到端预算\(T_{\text{budget}}\) 是业务能容忍的最长决策时间，超时等于这杯奶茶顾客不要了，整条链路都要为它让路。
    Tbudget=Tpre+Tinfer+TpostT_{\text{budget}} = T_{\text{pre}} + T_{\text{infer}} + T_{\text{post}}
  2. 预处理耗时\(T_{\text{pre}}\) 是拿到原始状态后做特征拼接、归一化等准备工作的时间，相当于店员先确认杯型和配料。
    Tpre=tfeature+tencodeT_{\text{pre}} = t_{\text{feature}} + t_{\text{encode}}
  3. 推理耗时\(T_{\text{infer}}\) 是模型前向计算真正花的时间，是整条链路的主角，通常用 GPU 加速。
    Tinfer=forward(s,θ)→aT_{\text{infer}} = \text{forward}(s, \theta) \to a
  4. 后处理耗时\(T_{\text{post}}\) 是动作映射、日志写入、结果校验的收尾时间。
    Tpost=tmap+tlogT_{\text{post}} = t_{\text{map}} + t_{\text{log}}

在线推理优化

直营店开起来了，问题跟着来：午高峰一到，队伍排到门外。店长发现，决定队伍长度的不是“平均出杯时间”，而是那几位特别慢的顾客——有人要少糖、有人要去冰、有人纠结半天。P99 延迟抓的就是这个“最慢的 1%”：它把 99% 的请求都压在某个时间线以内，线上体验好不好，看它比看平均值准得多。

在线 RL 推理有两个核心指标：延迟和吞吐。延迟看 P99，决定体验上限；吞吐看每秒能处理多少请求，决定容量上限。两者像出杯速度和排队人数的关系：出杯慢了队伍变长，但无脑加快单杯速度又会牺牲质量。提升吞吐最常用的手段是批量推理（batching）：把多个请求攒成一批，一起喂给模型。GPU 擅长并行，批量越大，每个样本的平均耗时越低，但第一批的等待变长、延迟小幅上升——这是一对天生的冤家。除了批量，模型蒸馏把大模型“压缩”成小模型，推理更快，是降低延迟的另一个利器。

批量推理就像饮品师一次做四杯奶茶：第一位顾客多等了十几秒，但队伍整体推进速度快了一倍。高峰时段算总账，批量永远更划算——关键是找到那个“延迟还能忍、吞吐最划算”的批量大小。

Throughput=nbatchTfix+nbatch×Tper\text{Throughput} = \frac{n_{\text{batch}}}{T_{\text{fix}} + n_{\text{batch}} \times T_{\text{per}}}
批量推理的吞吐 = 批量大小 ÷ 总耗时。总耗时包含与批量无关的固定开销，加上每个样本的边际耗时。
  1. 批量大小\(n_{\text{batch}}\) 表示一次推理同时处理的样本数，相当于一次做几杯奶茶。
    nbatchn_{\text{batch}}
  2. 固定开销\(T_{\text{fix}}\) 是启动这次批推理的固定耗时，与杯数无关，哪怕只做一杯也要付这轮“开机费”。
    TfixT_{\text{fix}}
  3. 单样本增量\(T_{\text{per}}\) 是每多加一个样本所增加的边际耗时，多一杯就要多花一份料。
    TperT_{\text{per}}
  4. 吞吐计算批量样本数除以总耗时，得到单位时间处理的样本数，即“出杯速度”。
    Throughput=nbatchTfix+nbatch×Tper\text{Throughput} = \frac{n_{\text{batch}}}{T_{\text{fix}} + n_{\text{batch}} \times T_{\text{per}}}

模型服务架构

光有快手脚不够，奶茶店的操作台也得摆得合理。点单台、操作区、原料冰箱各占一角，动线不顺，再熟练的店员也会撞在一起。RL 模型服务就是那张操作台。一个完整的在线 RL 服务，通常由三块拼成：策略路由网关负责收请求、做鉴权、按版本分流；模型推理服务负责核心的“状态→动作”计算；特征库负责把原始数据加工成模型要吃的特征。RL 特有的还有状态缓存——因为决策往往依赖历史状态，像做奶茶要先确认这杯是不是已经加过糖。

架构设计最常被问的问题是“要部署多少个副本”。答案不是拍脑袋，而是算出来的：每秒请求数乘以单请求耗时，就是同时被占用的服务能力，再除以目标利用率，就得到副本数。特征获取要隔离在推理链路之外，防止慢特征拖慢模型；脏数据也要在入口过滤掉，免得让模型“喝到发酸的原料”。

周末高峰前，店长会按“排队人数 × 单杯耗时”估算要开几个窗口，还要留出店员休息的冗余。副本数就是服务端的窗口数——算少了排队，算多了浪费，\(U_{\text{target}}\) 就是那个“留余量”的智慧。

N=⌈QPS×TavgUtarget⌉N = \left\lceil \frac{\text{QPS} \times T_{\text{avg}}}{U_{\text{target}}} \right\rceil
副本数 = 每秒请求数 × 单请求平均耗时 ÷ 目标利用率，然后向上取整。目标利用率一般留出余量，设为 0.5 左右。
  1. 请求速率QPS 是每秒到达的请求数，代表店门口的客流。
    QPS\text{QPS}
  2. 单请求耗时\(T_{\text{avg}}\) 是模型服务处理一个请求的平均耗时，代表每杯奶茶平均要花的时间。
    TavgT_{\text{avg}}
  3. 目标利用率\(U_{\text{target}}\) 是希望服务器保持的负载水平，一般留出缓冲余量，设 0.5 左右，防止流量尖峰打垮服务。
    UtargetU_{\text{target}}
  4. 取整QPS 乘耗时得到“同时占用的服务能力”，除以利用率后向上取整，得到要开的“窗口数”。
    N=⌈QPS×TavgUtarget⌉N = \left\lceil \frac{\text{QPS} \times T_{\text{avg}}}{U_{\text{target}}} \right\rceil

离线分布偏移

三个月后，总部发现瓶装奶茶卖不动了。味道没变，但顾客的口味悄悄变了——年轻人开始追求少糖，而生产线还是按全糖配方灌装。离线 RL 遇到的就是这个“时间差”问题：离线 RL 用旧策略（行为策略）采集的数据来训练新策略，可新策略给出的动作分布和旧数据里的分布天然不一样。拿旧数据评估新策略，就像拿三个月前的口味问卷评价新配方——结果必然虚高，这就是著名的“分布偏移导致价值高估”。

最常见的修正是重要性采样：给每个历史样本的回报乘以一个权重，权重等于“新策略选这个动作的概率 ÷ 旧策略选这个动作的概率”。权重越大的样本，说明新策略越“想做”这件事但旧数据里很少见，需要谨慎参考。另一种思路是加策略约束，让新策略别离旧策略太远——像改配方时保留七成原味，慢慢调。

重要性采样像给老顾客问卷加了一道“口味变化适应性”加权：口味变化最大的人，反馈权重反而要打折，免得少数先变的顾客带偏整个配方。等新数据攒够了，再用新数据重新训练，把配方调回正轨——这就是离线 RL 的校正循环。

V^(πnew)=1N∑t=1Nπnew(at∣st)πold(at∣st)Rt\hat{V}(\pi_{\text{new}}) = \frac{1}{N} \sum_{t=1}^{N} \frac{\pi_{\text{new}}(a_t \mid s_t)}{\pi_{\text{old}}(a_t \mid s_t)} R_t
用重要性采样修正后的新策略价值估计：每个样本的回报乘以新旧策略选择该动作的概率比，再求平均。
  1. 目标策略概率\(\pi_{\text{new}}(a_t \mid s_t)\) 是新策略在状态 \(s_t\) 下选择动作 \(a_t\) 的概率，代表“新配方想做这件事”的决心。
    πnew(at∣st)\pi_{\text{new}}(a_t \mid s_t)
  2. 行为策略概率\(\pi_{\text{old}}(a_t \mid s_t)\) 是旧策略（产生数据的行为策略）在同样状态下选同样动作的概率。
    πold(at∣st)\pi_{\text{old}}(a_t \mid s_t)
  3. 重要性权重两者相除得到该样本的权重，权重越大说明样本越“稀有”，越要谨慎对待。
    wt=πnew(at∣st)πold(at∣st)w_t = \frac{\pi_{\text{new}}(a_t \mid s_t)}{\pi_{\text{old}}(a_t \mid s_t)}
  4. 加权求平均权重乘以回报 \(R_t\) 后对所有样本取平均，就得到修正后的新策略价值估计。
    V^(πnew)=1N∑t=1NwtRt\hat{V}(\pi_{\text{new}}) = \frac{1}{N} \sum_{t=1}^{N} w_t R_t

线上A/B实验

新配方要上线，稳妥的做法是先找两家客流差不多的门店对比：一家用新配方，一家用老配方，卖一周看营业额。但店长很快发现，光看数字不够——新店开业搞促销、隔壁商场修路封门，任何意外都会污染对比结果。A/B 测试就是这套“对比实验”的科学版，用于判断新策略是否真的优于旧策略。三个要点缺一不可：随机分流保证两组无系统性偏差；样本量足够，否则 0.1% 的差异可能是噪声；显著性检验回答“这个差异是不是运气”。

最常用的是两比例 z 检验，比较两组的转化率、点击率或收益率。z 值是“差异除以标准误”，标准误衡量差异有多不稳。\(|z| > 1.96\) 意味着在 95% 置信水平下，差异显著——相当于统计学家拍了拍你的肩膀说：这不是运气。

A/B 实验还讲究“看护指标”：主指标定输赢，护栏指标防翻车——新配方提高了营业额，但差评率暴涨，那也不能上。就像实验期间绝不能同时改门店招牌和配方，一次只动一个变量，结果才干净。

z=p^1−p^2p^(1−p^)(1n1+1n2)z = \frac{\hat{p}_1 - \hat{p}_2}{\sqrt{\hat{p}(1 - \hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}}
两比例 z 检验的 z 值 = 两组转化率之差 ÷ 这个差值的标准误。标准误越小，差异越“可信”。
  1. 转化率之差\(\hat{p}_1\) 和 \(\hat{p}_2\) 分别是实验组和对照组的转化率估计，分子是两者之差。
    p^1−p^2\hat{p}_1 - \hat{p}_2
  2. 合并比例\(\hat{p}\) 是两组数据合在一起算的总转化率，作为零假设下的基准。
    p^=x1+x2n1+n2\hat{p} = \frac{x_1 + x_2}{n_1 + n_2}
  3. 标准误分母是差值的标准误，衡量两组转化率之差有多“不稳”，样本越少、波动越大。
    SE=p^(1−p^)(1n1+1n2)\text{SE} = \sqrt{\hat{p}(1 - \hat{p})\left(\frac{1}{n_1} + \frac{1}{n_2}\right)}
  4. z 值判定\(|z| > 1.96\) 说明差异在 95% 置信水平下显著，可以给新策略“开绿灯”。
    ∣z∣>1.96|z| > 1.96

灰度发布回滚

实验通过了，接下来是铺开。但一口气开一百家店太冒险——万一哪家店的水质不对，整个品牌口碑就毁了。聪明的做法：先在总部门店试卖一周，再到一线城市开三家，然后十家、五十家、一百家。这步棋叫灰度发布：把新策略的流量从 1% 起步，逐步提升到 5%、20%、50%、100%。它和 A/B 测试不同：A/B 回答“该不该上”，灰度解决“怎么安全地上”，两者配合使用。

灰度的核心机制有三：第一，爬坡节奏——每到一个新比例要停留一个观察窗口，等核心指标确认稳定再往前推进；第二，暂停条件——任一关键指标超过阈值就停止加量；第三，自动回滚——暂停还不够，直接把流量全部切回旧模型。版本状态管理（进行中、已暂停、已回滚、已全量）是这一切决策的“日志账本”，让每一步都有据可查。

爬坡公式像店长的开店节奏：每批新店开张前，先看上一批的营收有没有达标。时间窗口到了、指标也过了，才开下一批；任何一家店出问题，立刻关门换回老配方。这就是灰度与回滚的默契配合。

share(t)=target×min⁡(1,tTwindow)\text{share}(t) = \text{target} \times \min\left(1, \frac{t}{T_{\text{window}}}\right)
灰度爬坡公式：在观察窗口内，新策略流量比例随时间线性上升，窗口结束时达到目标比例，之后不再增长。
  1. 目标比例\(\text{target}\) 是这一阶段打算放给新模型的最大流量比例，比如 5% 或 20%。
    target\text{target}
  2. 已运行时间\(t\) 是当前阶段已经观察的时间长度，就像这批店已经开了几天。
    tt
  3. 观察窗口\(T_{\text{window}}\) 是计划爬坡到目标比例所需的总时间，窗口越长，风险越可控。
    TwindowT_{\text{window}}
  4. 爬坡限定\(\min\) 函数保证比例不超过 target，时间没到就按线性比例爬，时间到了就停住等待观察。
    min⁡(1,tTwindow)\min\left(1, \frac{t}{T_{\text{window}}}\right)

监控持续优化

全国门店终于都用上新配方，但故事没结束。总部每周抽查出杯量、好评率、原料损耗，还定期发口味问卷——因为顾客永远在变，昨天的爆款可能是明天的滞销品。RL 模型上线同样不是终点，而是新一轮循环的起点。上线后要持续监控三类指标：业务指标（转化率、收益、用户留存）看策略有没有创造价值；系统指标（延迟、吞吐、错误率）看服务还健不健康；漂移指标（状态分布、动作分布的变化）看环境是不是已经变了。漂移是 RL 特有的风险：环境变了，策略会悄悄失效，而你可能毫无察觉。

PSI（群体稳定性指数）是最常用的漂移检测指标：把当前特征分布和训练时的基准分布都切成 K 个桶，逐桶比较占比差异，累加成一个数。PSI 小于 0.1 说明稳定，大于 0.25 说明明显漂移，该告警了。

PSI 就像一张“口味结构体检报告”：某个桶的占比突然暴涨，说明来喝奶茶的人群结构变了，配方和人群错位了。监控闭环由此转起来：发现漂移 → 采集新数据 → 重新训练 → 再次灰度上线。RL 工程没有“一劳永逸”，只有周而复始的迭代。

PSI=∑i=1K(pi−qi)×ln⁡(piqi)\text{PSI} = \sum_{i=1}^{K} (p_i - q_i) \times \ln\left(\frac{p_i}{q_i}\right)
PSI 把所有特征桶的“当前占比与基准占比之差”乘以“对数比”后累加，值越大说明分布漂移越严重。
  1. 当前分布占比\(p_i\) 是当前窗口内特征落入第 \(i\) 个桶的样本占比，代表“现在的顾客偏好”。
    pip_i
  2. 基准分布占比\(q_i\) 是训练时基准分布落在第 \(i\) 个桶的占比，代表“当初设计配方的对象”。
    qiq_i
  3. 差异加权占比差乘以对数比，放大了小桶里的细微变化，避免大桶掩盖问题。
    (pi−qi)×ln⁡(piqi)(p_i - q_i) \times \ln\left(\frac{p_i}{q_i}\right)
  4. 累加判漂移对所有桶累加得到 PSI，小于 0.1 表示稳定，大于 0.25 表示明显漂移。
    PSI=∑i=1K(pi−qi)×ln⁡(piqi)\text{PSI} = \sum_{i=1}^{K} (p_i - q_i) \times \ln\left(\frac{p_i}{q_i}\right)

AI 应用场景

电商推荐策略的在线 RL 部署

阶段：在线部署与推理优化

解决的问题：传统推荐用监督学习离线训练特征，无法实时响应点击反馈；RL 排序策略需要“看一次点击、马上调一次动作”，对推理延迟极其敏感。在线部署要同时守住 P99 延迟和高峰吞吐两条线，否则推荐系统会拖垮整个交易链路。

具体案例：某电商平台把 RL 排序模型封装为 gRPC 推理服务，通过灰度网关按用户 ID 哈希分流，P99 控制在 50ms 内；大促期间用批量推理把吞吐提升 3 倍，并用模型蒸馏把线上模型从 2GB 压到 300MB。

自动驾驶决策策略的离线 RL 评估

阶段：离线部署与分布偏移修正

解决的问题：自动驾驶不能在真实道路随机探索，必须用路采日志离线训练。但日志数据由老版本策略采集，直接用它们评估新策略会严重高估表现，贸然上车就是拿安全开玩笑。

具体案例：某自动驾驶团队在换道决策策略上应用重要性采样：用新旧策略的动作概率比加权历史回报，得到修正后的价值估计；同时加 KL 约束防止新策略偏离旧策略太远，评估合格后才进入仿真器大规模验证。

智能投放系统的灰度发布与 A/B 测试

阶段：灰度发布与实验评估

解决的问题：广告出价策略每次调整都直接影响真金白银的消耗，全量上线一旦出问题，预算半天就烧完。需要一套“先验证、再爬坡、可回滚”的机制。

具体案例：某广告平台把新出价策略先切 5% 流量跑 A/B 实验，z 检验确认 CTR 与千次曝光收入显著提升后，按 10% → 30% → 50% → 100% 灰度爬坡；期间监控到某个人群包成本暴涨 30%，自动触发回滚，全程只损失了不到 1% 的预算。

Python 演示

python54 行
import mathimport randomfrom collections import Counter  class SimulatedBandit:    # 模拟一个 RL 动作策略(类似奶茶新配方), pull 返回是否成功    def __init__(self, success_rate):        self.success_rate = success_rate     def pull(self):        return 1 if random.random() < self.success_rate else 0  def current_share(progress, stages):    # 根据灰度进度返回新策略应占的流量比例    share = 0.0    for threshold, s in stages:        if progress >= threshold:            share = s    return share  def ztest(p1, n1, p2, n2):    # 两比例 z 检验, 返回 z 值    p_pool = (p1 * n1 + p2 * n2) / (n1 + n2)    se = math.sqrt(p_pool * (1 - p_pool) * (1.0 / n1 + 1.0 / n2))    return (p1 - p2) / se if se > 0 else 0.0  def main():    old_agent = SimulatedBandit(0.40)   # 线上老策略    new_agent = SimulatedBandit(0.48)   # 待上线新策略    # 灰度计划: 进度到阈值时, 新策略流量调到对应比例    stages = [(0.0, 0.01), (0.2, 0.05), (0.4, 0.20), (0.6, 0.50), (0.8, 1.00)]    n_rounds = 20000    stats = {True: Counter(), False: Counter()}    for t in range(n_rounds):        progress = (t + 1) / n_rounds        use_new = random.random() < current_share(progress, stages)        agent = new_agent if use_new else old_agent        reward = agent.pull()        stats[use_new][reward] += 1    n_new = sum(stats[True].values())    n_old = sum(stats[False].values())    p_new = stats[True][1] / n_new    p_old = stats[False][1] / n_old    z = ztest(p_new, n_new, p_old, n_old)    print("new=%.4f old=%.4f z=%.2f" % (p_new, p_old, z))    print("新策略显著更优, 继续全量" if z > 1.96 else "差异不显著, 暂缓全量")  if __name__ == "__main__":    main()
目的：模拟“新奶茶配方”从灰度发布到全量的完整过程：流量按灰度计划逐步切到新策略，收集两组成功数据后做两比例 z 检验，根据显著性决定是否继续全量。
  1. stages = [(0.0, 0.01), (0.2, 0.05), (0.4, 0.20), (0.6, 0.50), (0.8, 1.00)]这是灰度计划表：发布进度到 20%、40%、60%、80% 时，新策略流量依次升到 5%、20%、50%、100%，对应奶茶店“一批批开店”的节奏。
  2. use_new = random.random() < current_share(progress, stages)用随机数与当前流量比例比较，实现“按比例分流”，就像把顾客按百分比领到新配方窗口。
  3. stats[use_new][reward] += 1把结果按“用没用新策略”分桶统计成功和失败次数，对应 A/B 实验的对照组与实验组。
  4. z = ztest(p_new, n_new, p_old, n_old)对两组转化率做 z 检验，得到差异的显著性分数，回答“新配方是不是真的更好”。
  5. print("新策略显著更优, 继续全量" if z > 1.96 else "差异不显著, 暂缓全量")以 z=1.96 为门槛做上线决策：显著才敢全量，不显著就继续观察。

常见误区

误区“RL 模型部署不就是写个 API 吗？跟普通机器学习模型没什么区别，模型能返回结果就行。”

正解RL 部署远比普通模型复杂：决策依赖历史状态，需要状态缓存；动作要受策略约束和探索机制限制；输出还要做合法性校验，防止模型“胡来”。就像奶茶店不是有个点单窗口就行，还要管原料、动线、排队，任何一环掉链子都会砸招牌。

为何常见：大多数教程只展示训练代码，很少讲生产服务化，容易让人以为部署只是简单封装一个函数。

误区“离线数据攒了上亿条，RL 模型训练出来直接上线就行，效果肯定有保障。”

正解离线数据大多来自旧策略，新策略的动作分布和旧数据不一致，直接评估会严重高估价值。上线后真实表现往往远低于离线测试，必须用重要性采样修正或策略约束，再配合小流量实验验证。

为何常见：监督学习的“数据即可训练”思维惯性太强，忽视了 RL 的“策略与环境交互”特性，数据分布一变，评估就失真。

误区“灰度发布就是把流量按 50% 切一半，反正新旧模型都是同一份部署流程。”

正解灰度发布的关键是“可控”和“可退”：要设置观察窗口、监控核心指标、随时暂停加量、异常自动回滚，流量比例也不是随意设的，要保证每个阶段都有足够样本支撑判断。把灰度和负载均衡混为一谈，是拿用户当小白鼠。

为何常见：灰度看起来就是个流量调度问题，很容易忽略它背后的风险管理逻辑，只有真正出过事故的人才会重视回滚预案。

误区“A/B 测试跑个三五天，新模型平均指标比旧模型高，就赶紧全量上线。”

正解平均数会骗人——样本量不够时，0.1% 的优势可能只是噪声。正确做法是先算最小样本量、保证随机分流且实验间不重叠、做显著性检验，同时看护护栏指标，防止“主指标升、次指标崩”。

为何常见：直觉比较平均数是最自然的做法，人们容易忽略统计检验的必要性，尤其是在 KPI 压力下容易“看着数字就上线”。

面试题

Q1. RL 模型在线部署时，最需要严盯的实时性指标是？

单选题 · mid

  • A.训练收敛的回合数
  • B.推理请求的 P99 延迟← 正确答案
  • C.训练数据集的大小
  • D.模型参数量的大小

答案：B。在线 RL 每次决策都要实时返回动作，P99 延迟是决定用户体验和决策有效性的核心指标。训练回合数、数据集大小、参数量都是离线阶段的关注点，与在线实时性无关。

Q2. 离线 RL 训练好后直接上线，最常见的风险是什么？

单选题 · easy

  • A.行为策略数据不足
  • B.分布偏移导致价值高估← 正确答案
  • C.模型过拟合训练集
  • D.奖励信号过于稀疏

答案：B。离线数据由旧策略采集，新策略的动作分布与数据分布不一致，直接评估会让价值虚高。这就像用三个月前的口味问卷评价新配方，结论必然失真。

Q3. 灰度发布的第一小步，通常放多少流量给新模型？

单选题 · easy

  • A.一次性放量到全部
  • B.直接放量到百分之五十
  • C.先放百分之一到五← 正确答案
  • D.完全不放出任何流量

答案：C。灰度发布讲究“小步慢跑”，第一步通常只放 1%-5% 的流量，用最小代价暴露问题。直接全量或半量违背灰度初衷，完全不放则无法验证线上效果。

Q4. A/B 实验中 |z| > 1.96 意味着什么？

单选题 · mid

  • A.两组实验数据没有差异
  • B.差异具备统计学显著意义← 正确答案
  • C.样本数量还不够充分
  • D.实验需要重新进行设计

答案：B。|z| > 1.96 说明在 95% 置信水平下，两组差异不是随机波动造成的，具备统计学显著意义。这相当于统计学家确认“差异不是运气”，可以支持上线决策。

Q5. P99 延迟的含义是什么？

单选题 · easy

  • A.全部请求延迟的平均值
  • B.延迟排序后第九九分位值← 正确答案
  • C.请求处理的最大延迟值
  • D.请求处理的最小延迟值

答案：B。P99 指 99% 的请求延迟都低于该值，用来捕捉“最慢的 1%”长尾。平均值会被大多数快请求拉低，掩盖尾部慢请求对体验的伤害，所以在线服务更看重 P99。

Q6. 灰度发布期间，自动回滚通常由什么触发？

单选题 · hard

  • A.新模型离线指标达到预期
  • B.线上核心指标恶化超阈值← 正确答案
  • C.训练耗时超过二十四小时
  • D.用户好评率明显提升

答案：B。回滚的本质是“纠错”，当线上核心业务指标（转化率、收益、延迟等）恶化超过预设阈值时，自动把流量切回旧模型，止损优先。离线指标达标是上线前提，不是回滚依据。

Q7. 重要性采样权重 π_new/π_old 的核心作用是什么？

单选题 · hard

  • A.让策略寻优过程更快收敛
  • B.修正新旧策略的动作分布差异← 正确答案
  • C.显著降低推理过程的延迟
  • D.直接放大奖励信号的幅度

答案：B。重要性采样通过新旧策略概率比给每个样本加权，抵消离线数据来自旧策略的分布偏差，让新策略的价值估计更可信。它解决的是“评估偏差”问题，与收敛速度、延迟、奖励幅度无关。

Q8. 一个完整的在线 RL 模型服务通常包含哪些组件？

多选题 · mid

  • A.特征数据服务模块← 正确答案
  • B.模型推理服务模块
  • C.策略路由网关模块← 正确答案
  • D.关系数据库索引模块

答案：AC。特征服务负责加工特征，推理服务负责状态到动作的计算，路由网关负责鉴权和分流，三者是标准在线 RL 服务骨架。关系数据库索引属于传统业务存储，不是 RL 服务的必备组件。

Q9. 灰度发布期间，下面哪些指标值得重点监控？

多选题 · mid

  • A.转化率等核心业务指标← 正确答案
  • B.推理服务的延迟波动
  • C.特征分布的漂移程度← 正确答案
  • D.训练集样本量的变化

答案：AC。灰度期间要同时盯业务指标（转化率、收益）、系统指标（延迟）和漂移指标（特征分布），三者共同决定是否继续加量。训练集样本量是离线阶段的事，与线上灰度无关。

Q10. 下列哪些方法可以缓解离线 RL 的分布偏移问题？

多选题 · extreme

  • A.重要性采样权重修正← 正确答案
  • B.保守估计与策略约束
  • C.定期用新数据重新训练← 正确答案
  • D.无脑提高模型学习率

答案：AC。重要性采样修正评估偏差，保守估计和策略约束防止新策略偏离旧策略太远，定期用新数据重训让策略跟上环境变化，三者都是缓解分布偏移的有效手段。提高学习率只会让策略更激进地偏离，适得其反。