标签漂移Label Drift与KS检验

可视化演示

交互展示预测分布漂移检测、KS统计量计算过程和漂移告警机制，理解模型线上监控核心方法。

漂移现象认知

老李的配方本上，河水常年是“清水 80% + 泥沙 20%”。但今年春天，他连续一周测到泥沙比例飙升到 35%。水没有变少、仪器也没有坏，变的只是“成分的比例”。这种现象在机器学习的世界里有个专门的名字——标签漂移（Label Drift）。

标签漂移，指的是模型预测目标 \(y\) 的分布随时间发生变化。分类模型里“正样本占 10%”变成了“正样本占 25%”，或者推荐模型里“用户点击率”的整体水平上移了一个台阶，都属于标签漂移。它和特征漂移（Feature Drift）是两回事：特征漂移是“题目变了”（输入 \(x\) 的分布变了），标签漂移是“答案变了”（目标 \(y\) 的分布变了）。常见的诱因包括业务策略调整、客群结构变化、标注口径变更。漂移一旦发生，模型的概率校准会失准，基于预测分数的业务决策也会跟着跑偏。

用数学语言描述“答案变了”，就是下面的不等式：

老李不会因为一次检测超标就换掉整条产线。他会先反复确认：配方是真变了，还是只是偶然波动？确认之后，才决定要不要调整净水流程。AI 工程师面对标签漂移，也得走同样的流程——先检测，再确认，最后行动。

分布提取对比

老李取水样很有讲究：上游、中游、下游各设一个取样点，每天固定时间取三管水，而不是随手舀一瓢。取样的位置和频率不对，后面的分析全是白搭。标签漂移检测的第一步，同样是“取水样”——把模型的预测输出收集起来。

在分类模型里，这个“水样”通常是模型对每个样本输出的预测分数（比如 Logistic 回归的输出概率，或 Softmax 的最大类概率）。一批预测分数构成一个样本集合，我们关心的是这个集合的分布长什么样。取样的两个关键是窗口：基准窗口和对比窗口。基准窗口选取模型“健康”时期的预测分数，通常用训练集，或者上线后第一个月的预测记录；对比窗口则是最近一个滑动时间窗（近 1 天、近 7 天）的预测分数。基准代表“正常的水质配方”，对比代表“现在的水质配方”。

拿到两个窗口的分数后，怎么把“分布”画出来？统计学里有一个简单又强大的工具——经验累积分布函数（Empirical CDF），它把样本按分数从小到大排队，然后数出“小于等于某个值”的样本占比：

取样的位置对了、经验的曲线画出来了，接下来就看两批“水样”的差异到底有多大——这正是 KS 检验登场的时刻。

KS检验原理

老李把两批水样的“浓度-深度”曲线叠在同一张图上：一条是上个月的，一条是今天的。他发现两条曲线之间有一道明显的缝隙，但缝隙到底算不算“大”？不能凭感觉，得量出来。

KS 检验（Kolmogorov-Smirnov Test）干的就是这件事。它是一种非参数假设检验，不假设数据服从正态分布，只比较两个经验累积分布函数。做法很朴素：把基准窗口和当前窗口的经验 CDF 画在一起，横轴扫过所有可能的分数值，在每个位置计算两条曲线的垂直距离，取其中的最大值作为 KS 统计量：

算出 \(D_{KS}\) 之后，还要回答一个关键问题：这道缝隙是真实的分布变化，还是抽样带来的偶然？KS 检验会给出一个 P 值——在原假设（两个分布相同）成立的前提下，出现这么大缝隙的概率。P 值小于 0.05，统计学上就认为“缝隙大到不可能是巧合”。

老李看到绿色标尺明显拉长时，就知道这不是正常波动，而是水真的变了。不过，KS 只看“最大缝隙”，万一局部缝隙不大、但整体成分都在缓慢偏移呢？这时就要请出 PSI 这个“综合浑浊度指数”。

PSI指标监控

老李发现，有时候两批水样的最大缝隙并不夸张，但整条河的“体质”已经在悄悄改变——每一层的泥沙都多了一点点。KS 像一把尺子量最大缝隙，而 PSI（Population Stability Index，群体稳定性指标）更像一个综合评分，把整条河分成十段横截面，逐段对比占比差异，再累加成总分。

PSI 的计算分三步：先把预测分数按基线窗口的分位数等频分成若干段（通常 10 段）；然后分别计算基线窗口和当前窗口在每个分段里的样本占比；最后逐段计算“占比差 × 占比对数比”并求和：

行业里常用的 PSI 判读标准是：小于 0.1 表示分布稳定，0.1 到 0.25 表示轻度漂移需要观察，超过 0.25 表示显著漂移需要告警。老李的“水质配方本”里没有单一大招，KS 管最大缝隙，PSI 管综合体质，两者互为补充。

漂移判定告警

净水厂的警报分两级：黄灯亮，说明水质有波动，先加强检测频率；红灯亮，说明必须马上停下来排查。标签漂移的告警设计也是同样的思路——不是一看到缝隙就大喊大叫，而是分级、滞后、再人工确认。

判定是否告警，要看两个信号。第一个信号是 KS 检验的显著性：P 值小于 0.05（或 KS 统计量超过查表临界值），说明两分布差异显著。第二个信号是 PSI 的档位：超过 0.25 属于显著漂移。工程上通常设定“连续 N 个监控周期都超阈值”才触发告警，避免偶发抖动引起误报。判定规则可以写成：

告警不是终点，而是起点。告警触发后，工程师要去看板核对监控曲线、和业务方确认是否有策略调整，排除“业务活动导致的正常变化”，再决定是否重训模型。老李也一样——红灯响起，他先打给上游确认是不是有人排污，而不是直接关掉净水厂。

监控体系搭建

老李不可能 24 小时蹲在河边盯曲线。他在河里布了浮标传感器，每小时自动传回数据，异常时短信提醒；每周出一份水质趋势周报。标签漂移监控也要建成这样一套“自动化监测站”，而不是靠人肉对比。

监控体系由四个环节组成。第一步是预测采集：在模型推理链路中记录每次预测的分数和对应标签，写入日志或数仓。第二步是指标计算：用定时任务（如 Airflow 调度）周期性地拉取基准窗口和当前窗口的数据，计算 KS 统计量与 PSI 指标。第三步是看板展示：把 KS、PSI 随时间变化的趋势画成折线图，叠加阈值参考线，让漂移过程一目了然。第四步是告警通知：阈值触发后通过企业微信、钉钉或短信通知到负责人。

监控频率怎么定？交易类模型通常按天甚至按小时监控，营销类模型按周即可。频率过高会引入噪声、浪费算力；过低则错过漂移早期信号。一个务实的做法是：先按天监控一周，观察指标的自然波动幅度，再据此设定阈值和频率。

老李的浮标系统让他从“天天盯河边”变成了“每周看报表、异常才出动”。AI 工程师也一样——把监控体系搭好，把人和机器的分工理清，漂移检测就不再是救火，而是常态化巡检。

模型重训练

黄灯、红灯都响过、渠道也排查了，老李确认：不是上游排污，是这条河本身的生态变了。要想让出水达标，光靠老配方不行，得调整净水剂的配比。模型重训练，就是给模型“换配方”。

触发重训练不能只凭一个指标。工程上常见的判定组合是：KS 检验显著（P 值 < 0.05）且 PSI 超过 0.25，且 线上业务指标（如准确率、AUC、转化率）同步下滑。三个条件都满足，才启动重训练流程——避免因为“分布变了但模型依然好用”而白白消耗资源。

重训练的具体策略要讲究。样本集更新上，常采用“最新 N 天数据 + 回放历史数据”的混合方式：新数据让模型跟上新分布，历史数据防止模型遗忘旧知识。上线方式上，新模型要灰度切换——先给 5% 流量试跑，观察 KS 和业务指标都稳定后，再逐步放量到 100%。同时保留旧模型作为回滚预案，一旦新模型表现异常，可以秒级切回。

老李的净水厂也有一套备用配方，新配方先在一条支线上试运行三天，出水达标才全面启用。标签漂移监控的终点不是“报警”，而是形成一个闭环：检测 → 告警 → 复训 → 灰度 → 回滚，让模型始终追得上真实世界的变化。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""标签漂移监控演示:KS检验与PSI指标"""import numpy as npfrom scipy import stats  def compute_ks(cur_scores, base_scores):    ks, p_value = stats.ks_2samp(cur_scores, base_scores)    return ks, p_value  def compute_psi(cur_scores, base_scores, bins=10):    edges = np.percentile(base_scores, np.linspace(0, 100, bins + 1))    base_hist, _ = np.histogram(base_scores, bins=edges)    cur_hist, _ = np.histogram(cur_scores, bins=edges)    base_ratio = base_hist / base_hist.sum() + 1e-6    cur_ratio = cur_hist / cur_hist.sum() + 1e-6    psi = np.sum((cur_ratio - base_ratio) * np.log(cur_ratio / base_ratio))    return psi  def main():    rng = np.random.default_rng(42)    base_scores = rng.beta(2, 5, size=20000)    cur_scores = rng.beta(2, 5, size=20000)    ks, p = compute_ks(cur_scores, base_scores)    psi = compute_psi(cur_scores, base_scores)    print("基线期 vs 当前期(正常)")    print("  KS = {:.4f}, P = {:.4f}, PSI = {:.4f}".format(ks, p, psi))    drift = (p < 0.05) or (psi > 0.10)    print("  判定: {}".format("存在标签漂移" if drift else "分布稳定"))    cur_scores = rng.beta(1.5, 8, size=20000)    ks, p = compute_ks(cur_scores, base_scores)    psi = compute_psi(cur_scores, base_scores)    print("基线期 vs 当前期(模拟漂移)")    print("  KS = {:.4f}, P = {:.4f}, PSI = {:.4f}".format(ks, p, psi))    drift = (p < 0.05) or (psi > 0.10)    print("  判定: {}".format("存在标签漂移" if drift else "分布稳定"))  if __name__ == "__main__":    main()

1. ks, p_value = stats.ks_2samp(cur_scores, base_scores)调用 SciPy 的双样本 KS 检验，一次拿到统计量和 P 值。
2. edges = np.percentile(base_scores, np.linspace(0, 100, bins + 1))按基线分数分位数生成等频分箱边界，保证每段样本量接近。
3. base_ratio = base_hist / base_hist.sum() + 1e-6归一化成占比，加上极小值防止对数运算除零。
4. psi = np.sum((cur_ratio - base_ratio) * np.log(cur_ratio / base_ratio))逐段计算 (A-B)×ln(A/B) 并累加，就是 PSI 公式。
5. drift = (p < 0.05) or (psi > 0.10)KS 显著性或 PSI 超阈值任一命中，即判定存在漂移。
6. cur_scores = rng.beta(1.5, 8, size=20000)用形状参数更倾斜的 Beta 分布模拟真实环境退化后的标签分布。

常见误区

面试题