模型上线后的在线评估怎么做

可视化演示

动态演示模型上线后的在线评估怎么做的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

在线评估概述

新厨师拿到厨师证后，你作为餐厅老板会做什么？你不会只看证书——那是培训班发的，证明他会考试；你也不会只让他在后厨做一道菜给同事尝——那是模拟考。你会让他真正站上灶台，接真实订单，然后每天翻看台率、好评率、出菜速度这些数据。持续看着他在真实顾客面前的表现如何——这就是在线评估。

在线评估（Online Evaluation）指模型部署到生产环境后，用真实流量持续监控其效果的过程。它和离线评估最本质的区别在于：离线评估面对的是固定的测试集，答案早已写在本子上；在线评估面对的是源源不断的真实请求，每一条都带着真实的用户反馈。你的模型能不能在双11大促的洪峰下保持稳定？新用户第一次访问时推荐是否精准？这些只有线上数据能回答。

在线评估不是一次性的“考试”，而是模型生命周期管理的一部分。一个模型从需求分析、训练、离线评估，到上线、监控、发现问题、迭代更新，最终被新模型替代——这条链路就是 MLOps 的日常。在线评估正处于“上线之后、迭代之前”这个承上启下的关键环节。用一个最简单的公式来说明在线评估的“好评率”概念：每收到 N 个请求，有 P 个获得正反馈（点击、成交、通过等），那么好评率 R 为：

回到餐厅的比喻：好评率是你最直接判断新厨师行不行的指标，但它只是一个起点。接下来我们要看，为什么模拟考（离线评估）不够，以及真正的在线评估还要盯哪些更细致的指标。

离线评估局限

厨师在培训班考试拿了满分，你就能放心让他掌勺吗？培训班用的食材是标准化的，顾客口味是模拟的，出菜时间也没人催。但真实餐厅里，客人可能突然流行吃辣，某个食材突然断货，高峰期后厨乱成一团——这些变化，模拟考都考不到。离线评估的局限，本质上就是“模拟考与真实考场”的差距。

离线评估最大的隐藏前提是同分布假设：它假设线上真实数据的分布和训练集、测试集一致。可现实世界中，用户行为、商品库存、季节偏好都在不断变化。训练时模型见到的是“冬天的菜单”，上线后顾客却开始点“夏天的凉菜”，分布一漂移，离线测试的准确率就变成了画饼。其次，离线评估没有真实反馈回路——训练时我们只能用历史标签模拟“用户是否满意”，但真正的满意是用户在线上用脚投票投出来的。最后是指标乐观偏差：模型在测试集上反复调参，很容易无意中“记住”了测试集答案，导致离线指标虚高，上线后大幅缩水。

为了量化分布漂移的程度，我们可以用 KL 散度来度量“线上数据分布 Q 相对离线训练分布 P 的偏离程度”：

所以，仅靠离线评估就像仅靠厨师证，无法保证真实生意兴隆。为了及时发现“顾客口味变了”，我们需要引入在线评估的监控体系。

核心监控指标

餐厅老板每天下班都会看三张表：营业额、翻台率、差评数。对应到在线评估，我们也需要一套“经营仪表盘”，把模型健康度拆成三类指标来盯。

第一类是业务效果指标，直接反映模型是否帮业务赚钱。推荐系统看点击率（CTR）、转化率（CVR）；广告系统看千次展示收益（RPM）；风控系统看坏账率、误杀率。这些指标就像餐厅的营业额和好评率，是最直观的“顾客满意度”。第二类是性能指标，包括响应延迟、吞吐量（QPS）。试想，顾客点菜后 10 分钟才上菜，就算菜再好吃，客人也会走。线上模型如果推理延迟过高，用户早就流失了。第三类是稳定性指标：模型服务的可用性、错误率、超时率，对应餐厅后厨是否经常停水停电、打翻盘子。

在性能指标中，p95 延迟是比平均值更可靠的监控指标。平均值容易被极端值掩盖——比如 99% 的请求 30ms 返回，但 1% 的请求 5 秒超时，平均延迟依然好看，可真实用户体验已经崩溃。p95 延迟的含义是：95% 的请求延迟都小于等于这个值。它的数学定义是累积分布函数的反函数在 0.95 处的取值：

老板的仪表盘上，业务、性能、稳定性三表缺一不可。指标是仪表盘上的数字，而 A/B 测试则是让你能“安全地换菜谱”的决策工具。

A/B测试实战

餐厅想上一道新菜，最稳妥的办法是什么？让一半顾客吃新菜，另一半顾客吃老菜，然后比较两边的满意度和复购率。A/B 测试就是这个思路：把真实流量随机切成两组，一组走旧模型（对照组 A），一组走新模型（实验组 B），在相同的时间窗口内比较指标差异。

A/B 测试的第一个关键是流量随机分割。随机性保证了 A、B 两组用户的特征分布近似一致，这样指标差异才能归因于模型本身，而不是用户群体的天然差异。第二个关键是显著性检验。两组的指标差异可能是随机波动造成的，需要统计检验来判断差异是否“显著”。设两组样本量分别为 n_A、n_B，两组观测到的点击率分别为 \hat{p}_A 和 \hat{p}_B，合并点击率为 \hat{p}，则检验统计量 z 为：

还需要注意实验时长：不能只看几天的数据就下结论。用户行为有周期性（工作日 vs 周末），流量有波动，样本量不足的“显著差异”往往会在更长周期内翻盘。一般建议至少覆盖一个完整的业务周期（如 7–14 天），并提前用功效分析计算所需样本量。双厨对决，必须让两位厨师在同一段日子里公平竞争，而不是只比一个中午。

影子流量与灰度发布

新厨师刚来，你不敢直接让他给客人上菜，怎么办？先让他做一份菜，不给客人，只给后厨主管试吃和记录。影子流量（Shadow Traffic） 就是这个逻辑：把线上真实请求复制一份，同时送给新模型跑一遍，但新模型的输出不参与真实决策，只记录日志、评估效果。这样既能观察新模型在真实数据上的表现，又不影响线上用户体验。

影子流量验证通过后，进入灰度发布（Canary Release）——像煤矿里的金丝雀一样，先放一小部分真实用户试水。灰度发布按比例逐步放量，从小流量到大流量，每走一步都观察指标。设初始流量比例为 E_0，每次放量按比例 r 增长，第 t 阶段的流量为：

灰度发布的最后一道保险是回滚机制。一旦监控发现新模型指标下降、报错率飙升，立即把流量切回旧模型，这就好比新厨师把菜做砸了，老板马上让他歇着，换回老厨师救场。回滚要提前准备：保留旧模型版本、配置一键切换开关、告警联动自动回滚。影子流量和灰度发布层层设防，让新模型在上线路上“先观察、再小步走、随时撤”。

数据漂移与冷启动

餐厅开久了，老板突然发现顾客点菜的口味变了——以前最受欢迎的糖醋里脊，最近几乎没人点；反而麻辣香锅天天卖断货。这就是数据漂移（Data Drift） 在现实中的样子：模型上线时所学到的数据分布，和当前真实数据的分布已经不一样了。漂移一旦发生，模型预测的准确率会肉眼可见地下降。

检测漂移的常用工具是PSI（Population Stability Index，群体稳定性指数）。它把两个分布分别切成 n 个桶，逐个桶比较占比差异。设第 i 个桶中基线分布占比为 Q_i，当前分布占比为 P_i，则 PSI 为：

与漂移相伴的另一个难题是冷启动。新店开张没有历史数据，新用户没有行为记录，模型“巧妇难为无米之炊”。解决冷启动有几种策略：用规则或热门内容兜底（给新用户先推荐最热门的菜）；用内容特征而非行为特征（根据菜的品类推荐）；用强化学习边探索边学习（先随机上几道菜试试反应）。应对漂移则需要定期用线上数据重训模型、做特征监控、自动触发告警。总之，口味变了要改菜单，新客来了要会试探——这两件事不做，线上模型迟早翻车。

监控告警与持续迭代

餐厅老板不能天天靠人肉看报表，他要设一套自动报警系统：翻台率连续三天下降就提醒，差评率突然飙升马上调查。模型的在线监控也一样。实时告警机制基于指标阈值或趋势异常触发：准确率跌过红线、p95 延迟超时、PSI 超过 0.25、错误率升高——任何一条触达阈值，监控平台就通知值班工程师。

为了让告警不被随机抖动淹没，常用指数加权移动平均（EWMA） 来平滑指标。EWMA 给最近的观测值更高权重，让趋势变化更快暴露。设 t 时刻观测值为 x_t，平滑系数为 α（0<α≤1），上一时刻平滑值为 S_{t-1}，则当前平滑值为：

有了告警机制，就能形成闭环迭代循环：监控发现指标异常 → 定位原因（漂移？bug？外部环境变化？）→ 改进模型或特征 → 重新走离线评估 → A/B 测试验证 → 灰度上线 → 继续监控。这个循环是 MLOps 的核心实践：模型不是“训练完就丢”，而是像餐厅菜单一样，要根据顾客反馈不断调整、迭代、上新。懂得持续迭代的团队，才能真正让 AI 在业务中长期稳定地创造价值。

AI 应用场景

Python 演示

"""在线评估监控器：模拟一个推荐模型上线后的持续监控"""import mathimport random  class OnlineMonitor:    def __init__(self, baseline):        self.requests = 0        self.hits = 0        self.latency_list = []       # 延迟样本        self.pred_list = []          # 模型输出分值        self.baseline = baseline     # 上线前采集的基准分布     def feed(self, pred, truth, latency_ms):        self.requests += 1        self.pred_list.append(pred)        if (pred > 0.5) == bool(truth):            self.hits += 1        self.latency_list.append(latency_ms)     def accuracy(self):        return self.hits / max(self.requests, 1)     def p95_latency(self):        if not self.latency_list:            return 0.0        s = sorted(self.latency_list)        return s[min(int(len(s) * 0.95), len(s) - 1)]     def drift_psi(self):        """与基线相比，输出分布 PSI 漂移指数"""        if len(self.pred_list) < 50:            return 0.0        eps = 1e-6        bins = 10        psi = 0.0        for i in range(bins):            lo = i / bins            hi = (i + 1) / bins            b_count = sum(1 for x in self.baseline if lo <= x < hi)            p_count = sum(1 for x in self.pred_list if lo <= x < hi)            b_ratio = b_count / max(len(self.baseline), 1)            p_ratio = p_count / max(len(self.pred_list), 1)            psi += (p_ratio - b_ratio) * math.log((p_ratio + eps) / (b_ratio + eps))        return psi     def report(self):        return {            'requests': self.requests,            'accuracy': round(self.accuracy(), 4),            'p95_latency_ms': round(self.p95_latency(), 1),            'psi_drift': round(self.drift_psi(), 4),        }  def run_monitor(days=7, day_requests=1000):    baseline = [random.random() for _ in range(2000)]    monitor = OnlineMonitor(baseline)    print('天数  请求数  准确率   p95延迟   PSI漂移')    for day in range(1, days + 1):        # 第4天起模拟数据漂移，第5天起模拟延迟退化        shift = 0.25 if day >= 4 else 0.0        latency_extra = 10.0 if day >= 5 else 0.0        for _ in range(day_requests):            pred = min(1.0, max(0.0, random.random() + shift))            truth = random.random() > 0.4            lat = max(1.0, random.gauss(45, 12) + latency_extra)            monitor.feed(pred, truth, lat)        r = monitor.report()        print(f"{day:4d} {r['requests']:7d} {r['accuracy']:8.4f} "              f"{r['p95_latency_ms']:8.1f} {r['psi_drift']:9.4f}")  if __name__ == '__main__':    run_monitor(days=7)

1. class OnlineMonitor:定义在线监控器类，相当于给餐厅装了一套“营业数据自动记录仪”。
2. self.pred_list.append(pred)把每个请求的模型输出分值存起来，供后续 PSI 漂移计算使用。
3. if (pred > 0.5) == bool(truth):判断模型预测与真实结果是否一致，一致则命中数加一。
4. def p95_latency(self):计算 p95 延迟：延迟排序后取第 95% 分位的值，而不是用平均值掩盖极端情况。
5. psi += (p_ratio - b_ratio) * math.log((p_ratio + eps) / (b_ratio + eps))逐桶累加分布偏差，得到 PSI 漂移指数。
6. baseline = [random.random() for _ in range(2000)]模拟上线前采集的 2000 条基准特征分布，当作“老菜谱配料比例表”。
7. shift = 0.25 if day >= 4 else 0.0第 4 天开始给预测分值加入偏移量，模拟真实环境出现数据漂移。
8. latency_extra = 10.0 if day >= 5 else 0.0第 5 天起延迟增加 10ms，模拟线上服务性能退化。

常见误区

面试题