想象你给一位刚入职的 AI 客服员办了张“健康体检年卡”。入职第一天，它能力满分，回答流畅。可三个月后，用户提问的口语化表达变多了，它的回答质量悄悄下滑，而你浑然不知。等投诉爆发时，已经影响了整整两周业务。持续评估与监控，就是为部署后的 LLM 建立一家“健康管理中心”：用标准体检套餐（离线基准）定期量体温、查血常规（指标评估），用心电监护仪（线上实时看板）盯着每一秒的体征，一旦指标异常就响起警报，让运维团队及时“用药”——回滚、重训或人工复核。

岗位关联

学会持续评估与监控，你就成了 LLM 应用的“健康守门员”，能让 AI 在真实世界长期稳定创造价值，这是 AI 工程师从“能上线”走向“会运营”的分水岭。

目录
  1. 可视化演示
  2. 1. 部署后的模型漂移
  3. 2. 评估指标体系
  4. 3. 自动化评估流水线
  5. 4. 趋势监控看板
  6. 5. 性能退化告警与处置
  7. 6. 立体化评测体系
  8. 7. 实战案例复盘
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示LLM部署后持续评估的性能趋势监控、评估触发流水线与A/B测试协同机制，交互切换模式查看评估体系各环节运作。

本节配有交互动效（进入视口后自动加载，约 3KB）。

性能趋势：持续监控仪表盘 准确率时间序列随版本迭代波动标记退化点 红色异常点表示性能跌破阈值触发告警 退化=|metric_t-metric_0|>delta 版本变更节点用竖线标注辅助定位归因

1. 部署后的模型漂移

刚入职的“AI 员工”体检报告一切正常，可工作半年后，它服务的用户群体变了。比如原本用户问“怎么退货”，现在开始问“怎么用优惠券叠加”。这些问题在训练数据里很少见，模型开始频繁答非所问。模型权重没有变，变的是输入数据的分布，这就是模型漂移。

模型漂移通常分两层：数据分布漂移指输入特征变了，比如用户画像、query 措辞迁移；概念漂移指同样的输入对应的正确输出变了，比如业务规则调整后“退款时限”从 7 天变成 15 天。此外，上下游系统、政策、竞品动态都在改变业务环境，让模型缓慢“水土不服”。

量化漂移程度最常用的指标是 PSI（群体稳定性指数）。它把参考分布和当前分布分别切成若干桶，比较每一桶占比的差异：

回到体检比喻：PSI 就像血常规里的白细胞计数，数值异常不代表一定生病，但提示医生需要进一步排查。持续评估的第一步，就是用这套“血常规”定期筛查模型面对的输入环境是否发生了变化。

PSI=∑i=1n(pi−qi)×ln⁡piqi\displaystyle \mathrm{PSI} = \sum_{i=1}^{n} (p_i - q_i) \times \ln \frac{p_i}{q_i}
PSI 告诉我们“现在的输入分布和模型训练/上线初期的分布偏离了多远”。
  1. 切分桶$\displaystyle p_i$ 是参考分布第 $i$ 桶的样本占比，$q_i$ 是当前分布第 $i$ 桶的占比，先按特征值分桶。
  2. 计算单桶差异$(p_i - q_i) \times \ln(p_i / q_i)$ 同时捕获占比差和对数变化，正值表示当前桶占比偏高，负值表示偏低。
  3. 求和$PSI = \sum_{i=1}^{n}$ 把所有桶的差异累加，得到一个总体漂移分数。
  4. 判定经验值通常 PSI < 0.1 表示稳定，0.1~0.25 表示轻度漂移，> 0.25 表示显著漂移，需要立即关注。

2. 评估指标体系

体检中心不会只查一项血常规，而是分科室做套餐。LLM 的评估指标也需要“分科室”：离线基准指标是固定考题，一板一眼地打分；在线业务指标是真实门诊反馈，直接反映用户满不满意。

离线基准指标包括准确率、精确率、召回率、F1、BLEU、ROUGE 等。以分类任务最常用的 F1 为例，它同时兼顾精确率 P（答得对不对）和召回率 R（该答的是否答全）：

在线业务指标则围绕真实用户体验，如回答采纳率、用户满意度、转人工率、任务完成率。此外还要监控质量与安全指标（有害内容率、幻觉率）和成本延迟（Token 消耗、首字延迟、CPU/GPU 占用），防止模型“带病工作”。

多科室报告要综合看：只盯着准确率，可能忽略了“敏感词漏检”这种召回率灾难。体检单上每项指标都有参考范围，模型评估同样需要定义每类指标的健康区间，为后面的看板和告警打下基础。

F1=2×P×RP+R\displaystyle F1 = \frac{2 \times P \times R}{P + R}
  1. 精确率 P模型判为正例的样本里真正正确的比例，代表“说出去的话靠谱程度”。
  2. 召回率 R真正该被找出的样本里被正确找出的比例，代表“有没有漏掉该处理的请求”。
  3. 调和平均$\frac{2 \times P \times R}{P + R}$ 不是简单平均，而是对偏低的一方更敏感，避免用一方的高分掩盖另一方的短板。
  4. F1 范围结果在 0 到 1 之间，越接近 1 表示精确率和召回率平衡得越好。

3. 自动化评估流水线

体检中心有预约系统：每年固定体检是定时触发，出现胸痛、发烧时临时加急检查是事件触发。LLM 的评估也不能靠人工拍脑袋，而要搭一条全自动流水线。

定时触发很简单：每天早上或每周跑一次评估套件，把结果写入数据库。事件触发则需要实时监控信号，这里常用 EWMA（指数加权移动平均）——对时序指标做平滑，同时快速感知突变：

其中 $S_t$ 是当前平滑值，$x_t$ 是当前观测值，$\alpha$ 是平滑系数（0~1）。当 $S_t$ 偏离历史均值超过阈值时，就触发一次“加急评估”。

流水线还要完成数据回流：按策略从线上采样真实请求，脱敏后送入评估环境，让每次评估都用最新鲜的“血液样本”。整体流程由调度系统编排，评估结果自动落库并更新看板。

体检中心不可能等病人倒下才发现问题，自动流水线就是 7×24 小时的“智能分诊台”：定时体检覆盖常规，事件触发捕捉突发，让每一次性能恶化都能及时被发现。

St=α×xt+(1−α)×St−1\displaystyle S_t = \alpha \times x_t + (1 - \alpha) \times S_{t-1}
  1. 初始值$S_0$ 取历史均值或第一个观测值，作为基线状态。
  2. 指数加权$\alpha \times x_t$ 给新观测分配权重，$(1-\alpha) \times S_{t-1}$ 保留历史记忆，历史越久权重指数级衰减。
  3. 调节灵敏度$\alpha$ 越大，对新数据越敏感，越容易捕捉突变；$\alpha$ 越小，曲线越平滑，越抗噪声。
  4. 触发比较当 $|S_t - \mu| > k \times \sigma$ 时认为出现异常事件，自动启动一次评估流水线。

4. 趋势监控看板

病房里的心电监护仪画出一条连续的心率曲线，护士扫一眼就知道病人是平稳还是恶化。LLM 的趋势监控看板就是模型监护仪：把每次评估的 F1、PSI、延迟等指标按时间戳画成折线图，形成长期的“体温单”。

仅仅画线还不够，眼睛容易忽略缓慢性下滑。这时需要漂移检测统计量来自动识别“变化点”。CUSUM（累积和） 是一种经典方法，它累积偏离目标值的正偏差，一旦累积量超限就报警：

看板还会设置多级报警阈值：黄色预警（指标缓慢下滑）和红色告警（指标跌破底线），并用阴影标出异常区间，让趋势变化一目了然。配合按业务线、按功能模块的下钻筛选，从“整体健康”快速定位到“某个能力亚健康”。

监护仪的曲线本身不会说话，是医生的经验和规则让曲线有了意义。CUSUM 就是那位不知疲倦的“值班医生”，把细微的漂移信号累积成响亮的警报，避免模型“温水煮青蛙”式退化。

Ct=max⁡(0,  Ct−1+(xt−μ0−k))\displaystyle C_t = \max\left(0, \; C_{t-1} + (x_t - \mu_0 - k)\right)
  1. 累积偏差$x_t - \mu_0 - k$ 是当前观测相对目标均值 $\mu_0$ 的超出量，$k$ 是允许的容忍偏差量。
  2. 上限截断$\max(0, \dots)$ 保证累积量不会因正常波动归零而丢失“缓慢积累的证据”。
  3. 递归计算$C_{t-1} + \dots$ 表示每次都把上一次的累积量加上本次超量，即使单次变化很小，持续偏离也会让累积量突破阈值。
  4. 触发告警当 $C_t$ 超过决策阈值 $h$ 时，说明数据分布发生了系统性变化，在图上标记告警点。

5. 性能退化告警与处置

监护仪嘀嘀作响，护士不会每次都冲进病房做心肺复苏，而是按级别响应：黄灯先观察，红灯立刻抢救。LLM 的告警也应分级处置，避免狼来了效应。

可以设计一个简单的告警评分，把多个维度的异常融合成一个分数，再与阈值比较：

其中 $\Delta F1$ 是 F1 相对基线的变化量，$w_1$、$w_2$ 是权重。当 $S$ 超过黄色阈值，通知值班工程师复核；超过红色阈值，自动触发回滚或重训流程，同时保留现场数据。根因初步定位则要对比最近业务发版、数据回流策略、外部 API 依赖等因素，缩小排查范围。所有告警处理都要记录到工单系统，形成人工复核闭环，避免误报漏报。

医院抢救有应急预案，模型告警也要有剧本：红灯亮了先回滚到上一版本止血，再收集 badcase 分析根因，最后用新数据重训并重新上线。分级处置让团队从“消防员救火”变成“有序分诊”。

S=w1×PSI+w2×∣ΔF1∣\displaystyle S = w_1 \times \mathrm{PSI} + w_2 \times |\Delta F1|
  1. 漂移贡献$w_1 \times \mathrm{PSI}$ 将分布漂移指数折算进总分，输入分布变化越剧烈，贡献越大。
  2. 效果贡献$w_2 \times |\Delta F1|$ 取 F1 变化的绝对值，表现下滑或异常上升都会拉高分数。
  3. 加权求和$S = \dots$ 把两类信号合成一个可调优的标量，权重根据业务对两者的敏感度确定。
  4. 分级比较用 $S$ 与黄线/红线比较，分别对应“关注”和“行动”两个处置等级。

6. 立体化评测体系

单一检查手段总有盲区：X 光能看到骨骼，却看不出血栓。评测体系也要“影像 + 化验”结合，这就是离线基准回归 + 线上 A/B 测试的立体打法。

离线基准回归用于“校准仪器”：在固定的 benchmark 上反复测试，保证任何一次改进都可以复现、可比较。但它无法反映真实用户的复杂反馈。线上 A/B 测试则把用户随机分成两组，一组用旧模型、一组用新模型，对比真实业务效果，类似于新药的随机双盲对照试验。判断差异是否显著，常用 t 统计量：

当 $|t|$ 大于临界值时，我们才有把握认为两个版本的差异不是随机波动造成的。最后把离线指标、在线指标、成本指标融合成综合评分，决策是否全量发布。

立体化不是简单叠加，而是各司其职：离线回归保证“体检仪器没坏”，在线 A/B 保证“治疗真有效”。只有两者都通过，模型的“健康证明”才算盖了章。

t=μA−μBsA2nA+sB2nB\displaystyle t = \frac{\mu_A - \mu_B}{\sqrt{\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}}}
  1. 均值差$\mu_A - \mu_B$ 是两个版本在业务指标上的平均差异，是疗效的“信号强度”。
  2. 方差项$\frac{s_A^2}{n_A} + \frac{s_B^2}{n_B}$ 表示各自抽样误差，样本量越大、波动越小，误差越小。
  3. 标准化$t = \frac{\text{均值差}}{\text{标准误}}$ 把差异换算成标准尺度，便于与临界值比较。
  4. 显著判断当 $t$ 超出临界值（如 1.96）且方向正确，才认为新版本显著优于旧版本。

7. 实战案例复盘

某电商平台的智能客服问答模型，持续评估体系上线后的第一个月就经历了一次完整的“诊疗周期”。客服问答场景中，模型日调用量 10 万次，监控看板显示 F1 从 0.82 缓慢下滑到 0.78，同时 PSI 在 0.2 附近徘徊，触发黄色预警。

工程师进入看板下钻，发现下滑集中在“售后政策”意图，且该意图下 query 中包含“仅退款”的比例从 5% 飙升到 18%。根因很快定位：平台刚推出“仅退款”新政策，用户提问方式发生迁移，而训练数据还停留在旧政策时代。团队决定回滚到上一版本止血，同时采集新话术样本补充训练集，两周后重新上线，F1 恢复到 0.83，用户满意度提升 6 个百分点。

监控系统本身也需要评估，我们关心告警的准确性：

这个案例中，监控在早期就发现波动，避免了业务持续受损；回滚和重训流程顺畅，证明了持续评估体系的有效性。

体检中心靠质控报告证明自己可靠，持续评估体系也靠这种“对监控的监控”不断迭代。一次完整的“发现-定位-处置-验证”闭环，才是这套体系价值的真实注脚。

Accuracy=TP+TNTP+TN+FP+FN\displaystyle \mathrm{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}
  1. TP/TN$TP$ 是正确报警的次数（真的退化被抓住），$TN$ 是正确忽略的次数（正常时期没乱报）。
  2. FP/FN$FP$ 是误报次数，$FN$ 是漏报次数。
  3. 正确率$\frac{TP + TN}{TP + TN + FP + FN}$ 衡量监控判断的整体正确比例。
  4. 实际意义持续评估不仅要能发现真问题，还要减少误报，否则团队会对警报麻木。

AI 应用场景

智能客服满意度守护

阶段：模型部署后的持续监控与运营

解决的问题：传统方式上线后靠用户投诉被动发现问题，往往等月底复盘才发现指标崩了。AI 持续评估通过每日定时评估 + 实时指标看板，在满意度掉头时立刻黄灯预警。

具体案例：某银行客服机器人接入持续评估流水线，每天凌晨跑离线评估套件，白天对实时对话采样计算“转人工率”和“负面情绪占比”。某次产品新规上线后，转人工率 2 小时内飙升 15%，EWMA 告警立刻触发，运营团队定位到新规话术覆盖不足，当晚上线补充语料，次日指标回落。

内容推荐系统的漂移预警

阶段：特征与输入分布监测

解决的问题：推荐模型的效果会随用户兴趣漂移而自然衰减，人工刷新模型周期难把握。用 PSI 持续监控用户特征分布，当漂移超标时自动触发重训。

具体案例：短视频平台的内容推荐 LLM 接入了 PSI 监控。换届热点事件引发用户兴趣大幅转移，query 特征 PSI 从 0.08 快速升至 0.31，流水线自动触发增量重训，并在看板上标红，同时暂停了对旧模型的流量加推。

新模型发布前的 A/B 决策

阶段：模型上线前的立体化评估

解决的问题：仅凭离线 benchmark 不敢拍板上线，担心真实场景翻车。立体化评测用离线回归保证可复现，用线上 A/B 拿真实用户说话。

具体案例：某文档写作助手准备升级模型，先在公开基准上回归通过，再切 5% 流量做 A/B 测试，对比接受率和续写使用时长。t 检验显示接受率显著提升 3.2%，才逐步放量到 100%。

Python 演示

python42 行
# -*- coding: utf-8 -*-"""LLM持续评估监控模拟器: 滑动窗口计算平均分并触发退化告警"""import mathimport random  class Monitor:    """模拟LLM持续评估监控器"""    def __init__(self, threshold=0.75, window_size=20):        self.threshold = threshold        self.window_size = window_size        self.score_history = []        self.alert_count = 0        self.last_alert = False     def update(self, score):        self.score_history.append(score)        if len(self.score_history) > self.window_size:            self.score_history.pop(0)        avg = sum(self.score_history) / len(self.score_history)        self.last_alert = avg < self.threshold        if self.last_alert:            self.alert_count += 1        return avg, self.last_alert  def simulate(rounds=60):    random.seed(42)    mon = Monitor()    base = 0.85    drift = 0.004    results = []    for step in range(rounds):        score = base - drift * step + random.uniform(-0.02, 0.02)        avg, alert = mon.update(score)        results.append((step, round(avg, 3), "ALERT" if alert else "OK"))    return results  if __name__ == "__main__":    for step, avg, state in simulate():        print("step={:02d} avg={:.3f} {}".format(step, avg, state))
目的：模拟一个 LLM 服务部署后 F1 分数缓慢下降的过程，用滑动窗口均值判断是否跌破健康线并输出告警。
  1. class Monitor:定义持续的评估监控器，对应真实体系中的评估服务。
  2. self.threshold = threshold保存健康线阈值（0.75），低于它就告警。
  3. self.score_history.append(score)将每次观测分数加入滑动窗口。
  4. if len(self.score_history) > self.window_size:超过窗口长度就淘汰最旧的数据，保持内存有限。
  5. avg = sum(...) / len(...)计算窗口内平均分，平滑掉偶发噪声。
  6. self.last_alert = avg < self.threshold核心判断：平均分低于阈值时触发告警。
  7. random.seed(42)固定随机种子，保证模拟结果可复现。
  8. score = base - drift * step + random.uniform(-0.02, 0.02)模拟性能随时间线性下滑叠加随机噪声。
  9. for step, avg, state in simulate():主循环打印每一步的监控状态，直观看到从 OK 到 ALERT 的转变。

常见误区

误区上线前离线基准测试拿了高分，就以为模型可以高枕无忧，不需要再做任何评估。

正解离线基准是“入职体检”，只能证明体检当天健康。部署后输入分布、业务规则、用户偏好都会变化，模型性能必然随时间漂移。持续评估是把“体检”变成“病房监护”，离线通过只是起点，不是终点。

为何常见：很多人习惯了训练-验证-测试的一次性流程，没有意识到机器学习系统的性能在真实环境中是动态变化的。

误区PSI 值只要不为 0 就是异常，PSI 为 0.05 就觉得模型要出问题，PSI 越低越好。

正解PSI 受特征切分方式、业务变化速度影响，经验阈值是 0.1/0.25，但不是金科玉律。某些高动态业务（如热点话题）PSI 常年偏高但仍属正常。需要结合历史基线和业务含义判断，而不是机械套数字。

为何常见：看到“经验阈值”就把它们当死标准，忽略了漂移检测本质上是对业务变化的一种统计描述。

误区告警阈值必须设得很低，任何风吹草动都报警，这样就不会漏掉性能退化。

正解阈值过低会导致大量误报，团队成员对警报脱敏，真正的严重退化反而被淹没。正确做法是分级阈值：黄色预警用于观察，红色告警才触发回滚等强动作，并通过 FP/FN 指标持续调优阈值。

为何常见：人对“漏报”的恐惧远大于“误报”，容易走向极端，忽略了告警系统本身的可信度管理。

误区既然线上 A/B 测试用真实用户验证最直接，那离线基准测试就没必要了，直接看 A/B 结果就行。

正解两者是互补不是替代。离线基准固定题目、可复现、低成本，每天能跑；A/B 测试成本高、耗时长，适合重要决策。离线回归负责持续监测，A/B 测试负责关键版本确认，缺一不可。

为何常见：A/B 测试听起来更“真实”，让人忽视它的周期长、成本高、样本量要求高等局限，且无法覆盖所有离线回归场景。

误区线上业务指标（如日活、满意度）下降了，一定是模型性能退化了，赶紧重训模型。

正解业务指标受版本发版、营销活动、外部舆情、竞品变化等多种因素影响。需要先控制变量，结合 PSI、F1 等模型专属指标和业务日志，区分是模型问题还是环境问题。盲目重训不仅浪费资源，还会掩盖真实根因。

为何常见：业务指标最容易观察到，而模型指标需要搭建评估体系才能看到，人们习惯用容易获得的信息做归因。

面试题

Q1. 持续评估与监控的核心目的是什么？

单选题 · easy

  • A.部署前的一次性验证模型效果
  • B.跟踪模型部署后的性能变化趋势← 正确答案
  • C.加速模型训练并减少计算成本
  • D.替代人工标注全部数据

答案：B。持续评估关注部署后的长期表现变化，而非一次性验证。B 准确描述了目的；A 是离线测试的作用，C 与评估无关，D 是数据工作。就像体检年卡是为了持续跟踪健康，而不是只在入职时测一次。

Q2. 下列哪种现象属于“输入数据分布漂移”？

单选题 · easy

  • A.用户从问书面语改为问口语化表达← 正确答案
  • B.模型权重因训练更新而改变
  • C.服务器 CPU 占用率突然升高
  • D.评估脚本中的日志打印增多

答案：A。输入分布漂移指的是模型接收到的真实数据与训练分布不一致。A 正是用户输入语体变化；B 是模型参数更新，C 是基础设施问题，D 是工程无关内容。类比患者就诊的科室分布变了，医生再按老经验诊断就容易误判。

Q3. 持续评估中“数据回流”主要指的是什么？

单选题 · easy

  • A.将线上真实请求采样后用于评估与再训练← 正确答案
  • B.把历史数据永久删除以节省存储
  • C.增加服务器资源来应对流量高峰
  • D.压缩日志文件减少磁盘占用

答案：A。数据回流是流水线把线上请求采样、脱敏后送回评估和训练环节，让系统持续学习新分布。A 正确；B 删除数据、C 扩容、D 日志压缩都属于运维动作，与回流目的无关。

Q4. PSI 值超过多少通常认为特征分布发生显著漂移？

单选题 · mid

  • A.0.01
  • B.0.05
  • C.0.25← 正确答案
  • D.0.75

答案：C。行业经验中，PSI < 0.1 稳定，0.1~0.25 轻度漂移，> 0.25 显著漂移。C 正确；0.01、0.05 属于正常波动，0.75 已经是极端异常，但通常不会等到这么高才干预。类比体温超过 38℃ 才算发烧，而不是 36.5℃ 就紧张。

Q5. 在 EWMA 公式中，平滑系数 α 越大表示什么？

单选题 · mid

  • A.历史数据影响越小，对新观测越敏感← 正确答案
  • B.历史数据影响越大，曲线越平滑
  • C.阈值会自动升高，告警更宽松
  • D.采样窗口会扩大，覆盖更多数据

答案：A。EWMA 中 α 是当前观测的权重，α 越大当前值影响越大，历史记忆衰减越快，因此对新变化更敏感。A 正确；B 描述的是 α 小的情况，C、D 与 α 不直接相关。类比称体重：更信昨天的数字还是今天的数字，取决于你有多在意突变。

Q6. 下列哪一项属于 LLM 的“在线业务指标”？

单选题 · mid

  • A.在固定 benchmark 上的 F1 分数
  • B.用户回答采纳率← 正确答案
  • C.训练时的 loss 曲线
  • D.模型参数量大小

答案：B。在线业务指标来自真实用户反馈，如采纳率、满意度、转人工率。B 正确；A 是离线基准指标，C 是训练监控，D 是模型结构属性。

Q7. 下列哪些属于自动评估流水线的常见触发方式？

多选题 · mid

  • A.每天凌晨的定时评估任务← 正确答案
  • B.输入分布漂移越界时的事件触发← 正确答案
  • C.算法工程师手动提交的临时评估← 正确答案
  • D.每次模型推理调用时都执行一次完整评估

答案：ABC。流水线支持定时触发（A）、事件触发（B）和人工触发（C）。每次推理都跑完整评估开销巨大且不必要，D 错误。类比体检中心既有年度套餐，也有突发胸痛加急检查。

Q8. 性能退化告警被触发后，合理的处置手段包括哪些？

多选题 · mid

  • A.立即回滚到上一个稳定版本← 正确答案
  • B.收集 badcase 并重新训练模型← 正确答案
  • C.忽略告警等待用户反馈
  • D.人工复核告警与根因分析结果← 正确答案

答案：ABD。告警后应分级响应：红色告警可回滚（A），同时收集 badcase 重训（B），所有动作需人工复核闭环（D）。C 忽略告警会导致问题扩大，错误。C 类似于心电监护响了却不去看一眼。

Q9. 在 A/B 测试中，t 统计量绝对值足够大说明什么？

单选题 · hard

  • A.实验组样本量一定大于对照组
  • B.观察到的均值差异不太可能由随机误差造成← 正确答案
  • C.实验组指标一定优于对照组
  • D.离线评测已经没有必要再做

答案：B。t 检验用于判断差异是否显著，t 足够大意味着差异不太可能是抽样误差，但不能决定哪个方向更好，也不能替代离线评测。B 正确；A 与统计量构成不直接等价，C 缺少方向判断和效应量，D 混淆了两种评测的职责。

Q10. 设计立体化评测体系时，下列做法合理的是哪几项？

多选题 · hard

  • A.用离线基准回归保证结果可复现← 正确答案
  • B.用线上 A/B 测试验证真实业务效果← 正确答案
  • C.设置分级告警并人工复核闭环← 正确答案
  • D.只用一个综合指标决定上线与否

答案：ABC。立体化要求离线（A）、在线（B）、告警闭环（C）协同。D 单一指标决策风险高，忽略了不同维度的互补性。类比看病既要化验单又要影像检查，还要医生复诊，不能只看一个数字就开药。