想象你精心养了一条金鱼，买回家时它活蹦乱跳，鳞片流光溢彩。你按照说明书喂食、换水、调温，一切妥帖。可几个月后，你发现它游得越来越慢，颜色也暗淡了。问题出在哪？不是金鱼本身，而是鱼缸里的水——水温和酸碱度在悄悄变化，而你肉眼看不到。 AI 模型就像这条金鱼。训练时它在「理想水质」（训练数据）里表现得完美无缺，可一旦部署到生产环境，真实世界的数据就像不断变化的鱼缸水：用户的习惯在变、市场环境在变、甚至问题本身也在变。模型不会说话，它只会默默地「生病」——预测开始失准，业务开始受损。 这就是在线模型监控要解决的问题。我们要给鱼缸装上「水质监测仪」：用 KS 检验和 PSI 指标捕捉水的化学变化（数据漂移），用预测分布监测观察金鱼的游动节律（预测分布偏移），用性能基线对比判断金鱼的健康本质（概念漂移），再配合分级告警和再训练闭环，让模型始终跟上真实世界的节奏。

岗位关联

模型上线只是起点，持续监控才是 AI 工程化的分水岭。掌握漂移检测与再训练闭环，是 AI 工程师从「能做出模型」走向「能养好模型」的关键能力。

目录
  1. 可视化演示
  2. 监控需求认知：模型也会老
  3. 数据漂移检测：KS 与 PSI 双指标
  4. 预测分布偏移：输出的秘密变化
  5. 概念漂移检测：关系的断裂
  6. 告警触发模型：分级响应的守夜人
  7. 再训练闭环：让模型 refresh
  8. 工程落地实战：从原型到生产线
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

查看数据漂移KS/PSI检测流程，对比参考与生产分布差异，观察PSI阈值分级告警与模型再训练触发。

本节配有交互动效（进入视口后自动加载，约 3KB）。

漂移监控 KS/PSI检漂移 PSI 分级告警再训练

监控需求认知：模型也会老

金鱼刚入缸那几天，你恨不得每半小时看一次，可时间久了就放松了。恰恰是这种放松，让水质在不知不觉中恶化。模型部署上线后也面临同样的「放松陷阱」：上线时评测指标漂亮，之后就没人管了。可真实世界的数据像流水一样不断变化，模型会慢慢「变老」——预测不准、业务受损，而你毫无察觉。

要让模型保持健康，得先明白它可能生哪些病。第一类是数据漂移：模型看到的输入数据分布变了，比如客服系统的用户措辞风格从「正式」变成「网络化」；第二类是预测分布偏移：模型输出的结果分布偏离了训练时，比如某类预测的比例明显变多；第三类是概念漂移：输入和输出之间的因果关系断了，比如原本「涨价→销量下降」的规律，在特殊经济环境下反转了。

围绕这三类疾病，在线监控形成一条闭环：数据埋点采集 → 漂移指标计算 → 阈值判定 → 分级告警 → 人工诊断 → 模型再训练 → 灰度发布 → 重新监控。监控不是装一个仪表盘就完事，而是一套持续运行的「健康管理体系」。它守护的业务价值，往往比模型本身的精度提升更关键。

回到金鱼的比喻：这三类疾病就像水质变酸（数据漂移）、金鱼作息紊乱（预测分布偏移）、以及鱼本身染病（概念漂移）。诊断方法不同，但最终都指向同一个动作——该换水了。

如果 PSI≥0.25 或 pKS<0.05⇒触发再训练流程\text{如果}\ \text{PSI} \geq 0.25 \ \text{或}\ p_{KS} < 0.05 \Rightarrow \text{触发再训练流程}
这是一个「告警判决式」：当 PSI 超过 0.25 或 KS 检验的 p 值小于 0.05 时，说明数据分布已经显著变化，模型需要重新调养。
  1. PSI 阈值检查PSI 是衡量分布偏移的量化指标，超过 0.25 表示特征分布发生了显著改变，因此需要触发后续流程。
    PSI≥0.25\text{PSI} \geq 0.25
  2. KS 检验显著性判断p 值小于 0.05 意味着两条经验分布存在统计显著的差异，即数据漂移已经不能被当作随机波动来忽视。
    pKS<0.05p_{KS} < 0.05
  3. 触发动作两者满足其一，监控系统就应发出告警并启动再训练流程，而不是继续「带病运行」。
    ⇒触发再训练流程\Rightarrow \text{触发再训练流程}

数据漂移检测：KS 与 PSI 双指标

检测水质，你会同时用温度计和化学试剂盒：温度计告诉你水温整体升高了，试剂盒告诉你水中氨氮占比超标了。数据漂移检测也是同样的思路，两个互补的指标：KS 检验负责捕捉分布的整体位移和形状变化，PSI 负责捕捉各区间占比的细微偏移。

KS 检验是一种非参数检验方法。它的核心思想非常直观：把训练集的特征分布和生产环境的特征分布各画成一条累计分布函数（CDF）曲线，如果两条曲线离得足够远，就说明分布变了。离得有多远？取两条 CDF 在所有点上的最大垂直距离，这个距离就是 KS 统计量 D。

PSI（Population Stability Index，群体稳定性指标） 则是另一种视角：把特征取值范围分成若干「桶」，好比把鱼缸分成若干水层，统计每层里鱼的数量占比。如果每一层的实际占比与历史基准占比都差不多，说明水质稳定；如果某几层占比明显变化，PSI 就会升高。

在实战中，KS 对分布的整体平移、尾部变化更敏感，PSI 则对各个区间的占比变化更细致。两者像温度计和试剂盒一样配合使用：先看 KS 判断「水是不是整体变了」，再用 PSI 定位「具体是哪个水层出了问题」，从而为后续的根因分析提供线索。

D=max⁡x∣F训练(x)−F生产(x)∣D = \max_{x} |F_{训练}(x) - F_{生产}(x)|
PSI 逐桶比较「当前占比」与「基线占比」，既看差距大小，也看偏离方向，最终加总成一个整体偏移分数。
  1. 分桶将特征取值范围划分为 B 个区间（桶），常用 10 个桶。
    i=1,2,…,Bi = 1, 2, \ldots, B
  2. 计算各桶占比分别统计当前数据与基线数据落在每个桶内的样本比例。
    Pi实际,Pi基线P_i^{实际}, \quad P_i^{基线}
  3. 单桶偏移量当前占比与基线占比之差，乘以两者比值的对数。差值为正表示该桶占比上升，为负表示下降，对数则放大偏离的敏感度。
    (Pi实际−Pi基线)×ln⁡Pi实际Pi基线(P_i^{实际} - P_i^{基线}) \times \ln \frac{P_i^{实际}}{P_i^{基线}}
  4. 汇总求和把所有桶的偏移量加起来，就是 PSI 值。经验法则：PSI 小于 0.1 表示分布稳定，0.1 到 0.25 表示轻度偏移需关注，大于 0.25 表示显著漂移需告警。
    ∑i=1B⋯\sum_{i=1}^{B} \cdots

预测分布偏移：输出的秘密变化

金鱼的游动节律也有规律：白天活跃、夜晚安静。如果有一天你发现它白天沉底、夜晚疯狂游动，虽然鱼本身没病，但它的行为分布已经偏离了历史基准。模型的预测输出也是如此——输入分布没怎么变，但模型给出的预测结果整体偏移了。这类现象就是预测分布偏移。

预测分布偏移在业务上往往更隐蔽。比如一个风控模型，训练时「拒绝」类预测占 5%，上线后这个比例悄悄涨到了 20%。输入特征看起来还算正常，但模型的行为已经和当初设计时大相径庭。此时最直接的做法，是对模型的预测分数或预测类别分布计算 PSI——把 PSI 从特征搬到预测输出上，同样适用。

不过 PSI 需要分箱，对分箱边界敏感。另一个常用指标是 JS 散度（Jensen-Shannon Divergence），它是 KL 散度的对称平滑版本，不需要分箱，直接衡量两个概率分布的相似度。JS 散度越接近 0 说明两个分布越一致，越接近 1 说明偏移越严重。在监控预测分布偏移时，JS 散度常作为 PSI 的补充验证。

预测分布偏移不能只看统计指标，还要联动业务指标一起判断：预测分布变了，对应的点击率、转化率、客诉率是否也变了？如果业务指标同步恶化，说明偏移是「真问题」；如果业务指标稳定，可能只是模型内部校准变化，优先级可以降低。这就像金鱼作息变了，但食欲和精神都正常，那可以先观察——可如果连食量都下降了，就得立刻处理。

DJS(P∥Q)=12DKL(P∥M)+12DKL(Q∥M),M=P+Q2D_{JS}(P \parallel Q) = \frac{1}{2} D_{KL}(P \parallel M) + \frac{1}{2} D_{KL}(Q \parallel M), \quad M = \frac{P + Q}{2}
JS 散度取两个分布的中点 M 作为参照，分别计算各自到中点的 KL 散度再平均，从而得到对称的分布距离。
  1. 构造中间分布取基线分布 P 与当前分布 Q 的平均，得到中点分布 M。
    M=P+Q2M = \frac{P + Q}{2}
  2. 计算 P 到中点的 KL 散度衡量 P 与 M 的信息差异。
    DKL(P∥M)D_{KL}(P \parallel M)
  3. 计算 Q 到中点的 KL 散度衡量 Q 与 M 的信息差异。
    DKL(Q∥M)D_{KL}(Q \parallel M)
  4. 取平均两部分各取一半相加，得到对称的 JS 散度。对称性意味着方向无关，P 相对 Q 的偏移和 Q 相对 P 的偏移结果一致。
    12DKL(P∥M)+12DKL(Q∥M)\frac{1}{2} D_{KL}(P \parallel M) + \frac{1}{2} D_{KL}(Q \parallel M)

概念漂移检测：关系的断裂

最棘手的情况是：水质测试一切正常，金鱼却病恹恹的。这时你会意识到，问题可能不在水，而在鱼本身——或者更准确地说，在「鱼缸环境」与「鱼的健康」之间的因果关系已经改变了。对应到模型世界，这就是概念漂移：输入 X 和输出 Y 之间的映射关系发生了本质变化。

概念漂移的典型场景：一个预测房价的模型，训练数据中学到「面积越大→价格越高」。但某个城市政策调整后，学区属性取代面积成为主导因素，旧关系不再成立。这时特征分布（数据漂移）和预测分布（预测分布偏移）都可能正常，但模型就是不准——因为「游戏的规则」变了。

检测概念漂移，最可靠的方法是追踪模型的实际性能。具体做法是滑动窗口对比：维护一个近期的预测结果窗口，通过标注回传、人工抽检、延迟标签等方式获取真实结果，计算当前窗口的准确率，与历史基线窗口的准确率做对比。如果准确率显著下滑，而数据漂移和预测分布偏移指标都正常，就基本可以判定发生了概念漂移。

概念漂移一旦确认，仅仅补充新数据重新训练往往不够。你需要回到业务层面搞清楚：为什么规则变了？是新政策、新竞争对手、还是季节性因素？只有理解了「关系为什么断裂」，才能在训练时引入正确的特征或约束。就像金鱼生病，光换水不够，还得知道它是细菌感染还是寄生虫——病因不同，药方完全不同。

P(Y∣X)生产≠P(Y∣X)训练P(Y | X)_{生产} \neq P(Y | X)_{训练}
概念漂移的数学定义：同样的输入 X，生产环境中的输出条件概率与训练时不再一致，即「同一句话，答案变了」。
  1. 训练时的条件关系训练数据中学到的输入到输出的映射概率。
    P(Y∣X)训练P(Y | X)_{训练}
  2. 生产时的条件关系当前真实世界中输入到输出的映射概率。
    P(Y∣X)生产P(Y | X)_{生产}
  3. 不等号的意义两边不再相等，意味着数据里的「规律」本身变了——不是数据换了样子，而是数据的生成机制变了。诊断时需要通过性能监控与根因分析确认这种断裂。
    ≠\neq

告警触发模型：分级响应的守夜人

鱼缸监测仪不能只会喊「出事了」，它应该像交通信号灯一样分级：绿灯正常、黄灯预警、红灯危险。在线监控的告警体系同样要分级，因为不同级别的漂移需要不同力度的响应——轻微偏移只需观察，显著漂移则需要人工介入，严重漂移则可能要考虑紧急回滚。

告警分级通常由多个指标联合决定：PSI 的值域、KS 检验的 p 值、准确率下滑幅度、持续异常的时间长度。比如 PSI 在 0.1 到 0.25 之间且持续时间较短，可以定为 Info 级；超过 0.25 或准确率连续下滑，升级为 Warning；如果业务指标同步严重恶化，则进入 Critical。不同级别对应不同的告警通道：Info 进监控看板，Warning 发企业微信/钉钉，Critical 直接电话值班人。

告警通道配置好后，值班响应流程要跟上：收到告警 → 确认漂移类型（数据/预测/概念）→ 查看关联特征定位根因 → 决定是继续观察、紧急重训还是回滚。这里有一个常见陷阱：告警疲劳。如果阈值设得太敏感，每天几百条告警，团队会麻木，真正的问题反而被淹没。所以阈值既要够灵敏，也要有「连续 N 个周期异常才触发」的防抖机制，确保每条告警都值得被看见。

级别={Info0.1≤PSI<0.25Warning0.25≤PSI<0.5CriticalPSI≥0.5 或准确率骤降\text{级别} = \begin{cases} \text{Info} & 0.1 \le \text{PSI} < 0.25 \\ \text{Warning} & 0.25 \le \text{PSI} < 0.5 \\ \text{Critical} & \text{PSI} \ge 0.5 \ \text{或准确率骤降} \end{cases}
这是一套典型的分级规则：PSI 位于不同区间时，告警级别和响应力度不同。
  1. Info 级条件PSI 处于 0.1 到 0.25 之间，数据有轻度偏移，记录日志并持续观察即可。
    0.1≤PSI<0.250.1 \le \text{PSI} < 0.25
  2. Warning 级条件PSI 达到 0.25 以上，说明偏移已显著，需要通知算法工程师介入诊断。
    0.25≤PSI<0.50.25 \le \text{PSI} < 0.5
  3. Critical 级条件PSI 超过 0.5 或业务准确率骤降，必须立即响应，必要时回滚模型。
    PSI≥0.5 或准确率骤降\text{PSI} \ge 0.5 \ \text{或准确率骤降}

再训练闭环：让模型 refresh

金鱼生病了，药方开好了，接下来怎么做？你不会直接把新水一股脑倒进缸里——那会让鱼应激。你会先换掉三分之一的水，观察金鱼的反应，再逐步增加新水比例。模型再训练和上线，也应该遵循同样的「渐进换水」逻辑。

传统的做法是「定期重训」，比如每月自动跑一次训练流程。但定期重训有两个问题：一是漂移可能在两次重训之间就造成了损失；二是新模型没有经过充分验证，直接全量上线风险极高。更稳妥的流程是事件驱动 + 灰度发布：监控告警触发后再训练，新模型先在小流量上试运行，与旧模型进行线上 A/B 对比，确认效果后再逐步扩大流量。

灰度期间要盯三件事：新模型的监控指标（PSI 是否稳定）、业务指标（转化率/准确率是否达标）、以及新旧模型的对比差异。如果新模型在灰度流量上表现不如旧模型，立即回滚；如果表现稳定，则逐步放量直到全量替换。整个流程还要有复盘机制：记录触发原因、处理过程、重训效果，形成团队的知识库——下次遇到类似漂移时，就能更快定位问题。

新模型流量比例=min⁡(1,tTramp),t=1,2,3,…\text{新模型流量比例} = \min\left(1, \frac{t}{T_{ramp}}\right), \quad t = 1, 2, 3, \ldots
灰度发布公式：新模型承担的流量比例随时间线性增长，经过 T 个时间单位后达到 100%。
  1. 时间步 t从新模型上线的第一个时间片开始计数。
    t=1,2,3,…t = 1, 2, 3, \ldots
  2. 比例计算当前时间片除以总灰度周期，得到这一阶段应放给新模型的流量比例。
    tTramp\frac{t}{T_{ramp}}
  3. 上限限制min 函数保证比例不超过 1，即全量切换也不会超过 100%。
    min⁡(1,tTramp)\min\left(1, \frac{t}{T_{ramp}}\right)

工程落地实战：从原型到生产线

从「在 Notebook 里算了一遍 PSI」到「生产环境自动监控」，中间隔着一条工程化的鸿沟。就像从养一条金鱼到开一家水族馆：单条鱼的换水是手工活，整个水族馆的水质保障需要一整套自动化系统。工程落地的核心，是把监控变成标准化的可复用模块。

一个完整的监控系统架构通常包含这些模块：数据接入层（从线上日志、特征平台实时取数）、指标计算层（定期计算 KS、PSI、准确率等指标）、阈值判定层（按规则判断漂移级别）、告警通知层（对接 IM/电话/工单系统）、再训练调度层（触发训练任务并管理灰度发布）。每层都可以用现成组件搭建：实时计算用 Flink，离线计算用 Spark，特征存储用 Feature Store，调度用 Airflow。

生产实践中有几条重要经验：第一，监控特征不要贪多，选业务影响最大的 10-20 个核心特征即可；第二，基线窗口要滚动更新，比如用最近 90 天的数据作为基线，而不是上线时的静态数据；第三，提前定义回滚预案，确保关键时刻能一键回滚。这些经验沉淀下来，就形成了团队的监控运营手册。

回看整条路：从理解三类漂移，到掌握 KS/PSI 指标，再到搭建告警与再训练闭环，你已经具备了「养好模型」的完整方法论。模型上线不是终点，而是它开始接受长期照护的起点——像对待水族馆里的每一条金鱼那样，持续观察、及时调整、科学养护。

漂移严重度=α⋅1(PSI>0.1)+β⋅1(DKS>0.2)+γ⋅1(ΔAcc<−0.03)\text{漂移严重度} = \alpha \cdot \mathbb{1}(\text{PSI}>0.1) + \beta \cdot \mathbb{1}(D_{KS}>0.2) + \gamma \cdot \mathbb{1}(\Delta Acc < -0.03)
综合评分公式：将多个指标的异常状态通过指示函数映射为 0/1，乘以各自权重后加总，得到统一的漂移严重度分数。
  1. 指示函数当括号内的条件成立时取 1，否则取 0，把连续指标变成离散的异常标记。
    1(PSI>0.1)\mathbb{1}(\text{PSI}>0.1)
  2. KS 异常项KS 统计量超过 0.2 视为异常，标记为 1。
    1(DKS>0.2)\mathbb{1}(D_{KS}>0.2)
  3. 准确率下滑项滑窗准确率较基线下降超过 3% 视为异常。
    1(ΔAcc<−0.03)\mathbb{1}(\Delta Acc < -0.03)
  4. 加权求和α、β、γ 是各项权重，可根据业务场景调参。分数越高，漂移越严重，响应越紧急。
    α⋅⋯+β⋅⋯+γ⋅⋯\alpha \cdot \cdots + \beta \cdot \cdots + \gamma \cdot \cdots

AI 应用场景

场景一：RAG 客服系统的用户意图监控

阶段：模型上线后的持续监控与告警

解决的问题：RAG 客服系统上线后，用户提问的主题分布会随季节、热点事件、产品迭代而变化。比如夏季空调咨询暴增，或新产品发布后「如何使用新功能」类提问激增。如果没有监控，检索模块可能因为知识库与用户意图错位而答非所问。

具体案例：某电商 RAG 客服系统对用户问题的 embedding 特征和意图类别分布进行日粒度 PSI 监控。某天 PSI 从 0.05 飙升至 0.31，告警触发后，工程师定位到原因是「退货政策」页面改版导致相关提问措辞剧变。团队随即更新了知识库的检索权重并补充了 FAQ 模板，PSI 在两天内回落到 0.08。全程用户无感知，客服满意度保持稳定。

场景二：信贷风控模型的概念漂移响应

阶段：概念漂移检测与模型再训练闭环

解决的问题：信贷风控模型容易受宏观经济政策影响。降息政策出台后，「收入水平」与「违约风险」的关系可能发生变化，即使输入特征分布正常，模型预测也会失真。传统做法是季度定期重训，但政策冲击往往在数周内就显现。

具体案例：某消费金融公司在政策发布后，通过滑动窗口对比发现模型 KS 值（区分度指标）从 0.42 降到 0.28，但数据 PSI 只有 0.06，判断为概念漂移。团队启动紧急再训练流程，在训练集中引入政策后样本，并通过灰度发布逐步放量，两周内模型区分度恢复到 0.39，坏账率得到有效控制。

场景三：推荐系统预测分布偏移的联动治理

阶段：预测分布偏移检测与业务指标联动

解决的问题：推荐系统的点击率预测模型，其预测分数的分布会随内容供给结构变化。如果某类内容的供给比例大幅增加，模型输出的高分样本比例也可能异常上升，导致推荐多样性下降、用户体验受损。仅靠 PSI 检测到偏移还不够，还需要联动业务指标判断影响。

具体案例：某短视频平台发现推荐模型的预测点击率均值从 0.08 上升到 0.14，PSI 达到 0.35，同时人均观看时长下降 8%。工程师交叉分析后定位到原因是新引入的「剧情号」内容供给暴涨，模型对这类内容过度自信。团队通过调整训练样本权重并加入多样性约束，观看时长在两周内回升 5%，预测分布也回归正常。

Python 演示

python42 行
"""在线模型监控演示：用 PSI 与 KS 指标检测数据漂移。"""import numpy as np  def psi_score(expected, actual, bins=10):    """计算 PSI：分箱后比较两分布在各箱内的占比偏移。"""    edges = np.percentile(expected, np.linspace(0, 100, bins + 1))    edges = np.unique(edges)    exp_hist, _ = np.histogram(expected, bins=edges)    act_hist, _ = np.histogram(actual, bins=edges)    exp_pct = exp_hist / max(exp_hist.sum(), 1)    act_pct = act_hist / max(act_hist.sum(), 1)    exp_pct = np.clip(exp_pct, 1e-6, 1)    act_pct = np.clip(act_pct, 1e-6, 1)    return float(np.sum((act_pct - exp_pct) * np.log(act_pct / exp_pct)))  def ks_statistic(expected, actual):    """计算 KS 统计量：两条经验 CDF 的最大距离。"""    combined = np.sort(np.concatenate([expected, actual]))    cdf_e = np.searchsorted(np.sort(expected), combined, "right") / len(expected)    cdf_a = np.searchsorted(np.sort(actual), combined, "right") / len(actual)    return float(np.max(np.abs(cdf_e - cdf_a)))  def main():    rng = np.random.default_rng(42)    baseline = rng.normal(0, 1, 10000)    current = rng.normal(0.6, 1.0, 10000)    psi = psi_score(baseline, current)    ks = ks_statistic(baseline, current)    print(f"PSI={psi:.4f} | KS={ks:.4f}")    if psi > 0.25 or ks > 0.2:        print("告警：检测到显著数据漂移，请触发模型再训练流程！")    elif psi > 0.1:        print("预警：数据分布开始偏离基线，请持续观察。")    else:        print("正常：数据分布保持稳定。")  if __name__ == "__main__":    main()
目的：演示生产环境中数据漂移监控的核心逻辑——用模拟的基线数据与当前数据计算 PSI 和 KS 两个指标，并根据经验阈值输出告警建议。
  1. edges = np.percentile(expected, np.linspace(0, 100, bins + 1))用基线的分位数确定分箱边界，保证各箱在正常状态下样本量均衡。
  2. exp_pct = exp_hist / max(exp_hist.sum(), 1)将频数转为占比，max 防止除零。
  3. np.clip(exp_pct, 1e-6, 1)将占比限制在极小值以上，避免取对数时出现无穷大。
  4. np.sum((act_pct - exp_pct) * np.log(act_pct / exp_pct))这是 PSI 的核心计算：逐箱求差值乘对数再求和。
  5. combined = np.sort(np.concatenate([expected, actual]))合并两组数据并排序，作为计算经验 CDF 的采样点。
  6. np.searchsorted(np.sort(expected), combined, "right") / len(expected)统计每个采样点处基线数据中「小于等于该值」的占比，即经验 CDF。
  7. np.max(np.abs(cdf_e - cdf_a))取两条经验 CDF 的最大绝对距离，即 KS 统计量。
  8. if psi > 0.25 or ks > 0.2:触发告警的判定条件，对应正文中的阈值判决式。

常见误区

误区模型在测试集上 AUC 高达 0.95，上线后应该没问题，不需要监控。我平时只看训练和测试的指标就够了。

正解测试集是对历史数据的回放，而生产环境是流动的「活水」。训练分布和生产分布一旦产生偏移，再好的历史成绩也会失真。就像金鱼在实验室的纯净水里活蹦乱跳，不代表它能适应自来水。监控的核心不是看模型「当初多好」，而是看它「现在还好不好」——这必须用生产数据实时验证。

为何常见：训练/测试指标是模型开发阶段最直观的「成绩单」，容易让人形成路径依赖，忽略了上线前后数据环境的本质差异。

误区只有 PSI 和 KS 同时报警，我才会认为数据真的漂移了。单个指标超阈值可能是误报。

正解KS 和 PSI 是互补关系而非「双保险」关系。KS 擅长捕捉整体位移，PSI 擅长捕捉分箱占比变化。有些漂移（如均值平移）会让 KS 显著上升但 PSI 只小幅变化；有些漂移（如双峰分布）可能 PSI 升高但 KS 不明显。就像温度计和试剂盒都能测水质问题，但测的是不同维度——任何一个指标报警都值得排查。

为何常见：人们天然倾向于「更严格=更安全」的直觉，但过度严格会推迟告警，让模型在亚健康状态下带病运行更久。

误区模型不准了，就是数据变了。我直接把最新数据拉下来重新训练一遍，就完事了。

正解数据漂移是「输入变了」，概念漂移是「规律变了」。如果是规律变了，单纯拿新数据重训只是在拟合新规律，却未必理解规律为什么变。比如房价模型中学到的「面积主导」变成「学区主导」，你需要引入学区特征或调整特征权重，而不是机械地加数据。就像金鱼病了，只换水不找病因，可能在治标不治本。

为何常见：因为概念漂移和数据漂移的外在表现相似——都是模型效果变差，且数据漂移更常见，所以容易被默认归因。

误区漂移告警一响，我马上触发重训，新模型训练完直接全量上线，效率最重要。

正解跳过灰度直接全量替换是高风险操作。新模型可能只是在监控指标上表现好，但业务指标（如转化率、满意度）未必更优，甚至可能引入新的偏差。正确流程是：先灰度放量，新旧模型 A/B 对比，观察业务指标和监控指标均达标后再逐步扩量。就像给金鱼换水要先换三分之一观察反应，而不是整缸水一次性倒掉。

为何常见：告警带来的紧迫感让人倾向于「快速行动」，而灰度发布需要等待和验证，人在压力下容易牺牲稳健性换取即时行动感。

面试题

Q1. PSI 指标的主要作用是什么？

单选题 · easy

  • A.比较两条经验 CDF 的最大距离
  • B.量化特征分布的整体偏移程度← 正确答案
  • C.计算模型在测试集上的准确率
  • D.衡量训练数据的标注质量高低

答案：B。PSI 通过分箱比较当前分布与基线分布的占比差异来量化整体偏移，B 正确。A 描述的是 KS 统计量；C 是模型评估；D 是数据质量范畴。就像试剂盒测水质化学组成，PSI 看的是分布占比变化。

Q2. KS 统计量的本质含义是什么？

单选题 · easy

  • A.两个经验分布的 CDF 最大垂直距离← 正确答案
  • B.两个分布的均值绝对差
  • C.两个分布的方差之比大小
  • D.模型预测值与真实值的平方误差

答案：A。KS 统计量定义为两条经验 CDF 在所有取值点上的最大差距，衡量的是「分布形状的整体差异」。均值差只反映位置偏移，方差比只反映离散度，平方误差是回归损失，都不足以描述整个分布的距离。

Q3. 概念漂移指的是什么？

单选题 · easy

  • A.输入特征的分布发生显著变化
  • B.模型输出的类别比例发生偏移
  • C.输入与输出之间的映射关系发生变化← 正确答案
  • D.训练数据中的标签出现了错误

答案：C。概念漂移的本质是 P(Y|X) 发生变化，即同样的输入对应的输出规律改变了。A 是数据漂移，B 是预测分布偏移，D 是标签噪声。打个比方：数据漂移是水质变了，概念漂移是金鱼本身染病了——病因层次完全不同。

Q4. 某客服系统的用户提问措辞变了，但意图分布基本没变，这属于什么？

单选题 · mid

  • A.概念漂移
  • B.预测分布偏移
  • C.数据漂移← 正确答案
  • D.标签噪声

答案：C。用户措辞变化意味着输入特征（文本向量）的分布发生变化，但意图（标签）分布稳定，这正是典型的数据漂移。概念漂移要求输入输出关系改变，预测分布偏移要求模型输出分布改变，标签噪声属于数据质量问题。措辞变了意图没变，相当于水的味道变了但鱼的健康没变。

Q5. 当 PSI 超过 0.25 时，最合理的处置方式是什么？

单选题 · mid

  • A.立即下线模型并删除生产日志
  • B.触发告警并启动漂移诊断与再训练← 正确答案
  • C.只提高监控频率不做任何处理
  • D.直接修改标签重新训练并发布

答案：B。PSI 超过 0.25 表示特征分布显著漂移，应触发告警流程：先确认漂移类型、定位根因，再决定是否再训练。直接下线过于激进，只观察不处理会延误时机，直接改标签重训更是跳过了诊断环节，容易治标不治本。

Q6. 在线模型监控需要关注哪些漂移类型？（多选）

多选题 · mid

  • A.数据漂移（特征分布变化）← 正确答案
  • B.预测分布偏移（输出分布变化）← 正确答案
  • C.概念漂移（输入输出关系变化）← 正确答案
  • D.学习率漂移（超参数变化）

答案：ABC。在线监控关注的三类核心漂移是数据漂移、预测分布偏移和概念漂移。学习率是训练阶段的超参数，与生产环境的漂移监控无关。这三类漂移恰好对应金鱼生病的三个层面：水变了、行为变了、健康本质变了。

Q7. 收到漂移告警后的正确第一步操作是什么？

单选题 · mid

  • A.立即全量重训并替换线上模型
  • B.确认漂移类型并排查根因← 正确答案
  • C.删除旧模型的相关生产代码
  • D.关闭告警通道并等待观察

答案：B。告警响应流程强调「先诊断后处理」。确认是数据漂移、预测分布偏移还是概念漂移，能决定后续是补数据、调阈值还是重训模型。直接全量重训跳过诊断可能南辕北辙，删除代码和关闭告警更是彻底错误。

Q8. 哪些方法可以用于检测概念漂移？（多选）

多选题 · hard

  • A.滑动窗口准确率对比← 正确答案
  • B.标注回传与人工抽检← 正确答案
  • C.只观察训练集的 loss 曲线
  • D.新旧模型线上 A/B 对比← 正确答案

答案：ABD。概念漂移检测的核心是追踪「输入与输出的真实关系」，滑动窗口准确率对比和标注回传都能反映真实性能变化，A/B 对比可以排除模型自身问题。训练集 loss 只反映历史拟合情况，与生产环境的概念变化无关。

Q9. 灰度发布的核心目的是什么？

单选题 · hard

  • A.将新模型流量从零渐进放大并实时验证← 正确答案
  • B.一次性替换所有旧模型实例以节省时间
  • C.降低服务器硬件配置的采购成本
  • D.让模型在训练阶段学习到更多新数据

答案：A。灰度发布的价值在于「小流量验证、风险可控」。通过渐进放量，能在每个阶段对比新旧模型的业务指标和监控指标，发现问题可及时回滚。一次性替换风险极高，硬件成本和训练数据学习都与灰度发布无关。

Q10. 关于 KS 检验与 PSI 的适用差异，下列说法正确的是？（多选）

多选题 · extreme

  • A.KS 对分布的整体平移更敏感← 正确答案
  • B.PSI 的数值依赖分箱边界的选取← 正确答案
  • C.两者都要求数据服从正态分布
  • D.两者都可用于检测数据漂移← 正确答案

答案：ABD。KS 直接比较 CDF 最大距离，对整体位置移动很敏感；PSI 按箱计算占比，箱边界不同结果会有差异；两者都是非参数方法，不要求正态分布假设。A、B、D 正确，C 错误。就像温度计和试剂盒各有擅长，但都不要求鱼缸必须是圆的。