风控模型：模型监控与更新

可视化演示

展示风控模型PSI分布偏移检测、KS/AUC性能衰退追踪与模型重训更新流程，交互调节分布偏移程度查看PSI值与告警状态变化。

监控体系概述

银行门口那位AI门卫，不是铁打的。连续执勤几个月后，他可能因为商圈搬迁、营销活动、经济波动而“看走眼”。如果他身上一直戴着健康手环，心率、血压、步数随时上传，医生就能在他倒下前发现问题。模型监控体系，就是这只“24小时健康手环”。

在AI+金融场景里，“手环”采集的不是心率，而是三大类信号：输入数据分布、模型评分分布、业务结果指标。监控流程通常分四步：采集→分析→告警→处置，形成一个闭环。监控频率也不是一刀切：数据波动大的消金产品可能每小时跑一次，成熟稳定产品按月观察。

只有监控覆盖足够广，体检才有意义。如果只监控一部分客户，漏掉的那群人可能正是风险重灾区。因此工程上会用“监控覆盖率”衡量体系是否完整：

回到门卫的比喻：手环只有天天戴、全员戴，医生才能拿到完整报告。监控覆盖率不高，相当于手环半夜自动关机，等你发现门卫状态异常时，坏账已经诞生。

数据漂移检测

有一天，门卫发现来银行的人突然都穿着同一家公司的工服，说话口音也变了。他仍然按老经验放行，却连连出错。这不是门卫偷懒，而是“客人”变了——技术上叫数据漂移。

数据漂移是模型失效的头号原因。要量化它，不能只凭感觉。风控行业最常用的指标叫PSI（Population Stability Index，群体稳定性指数），它像一张“化验单”，把训练时期的数据分布当作健康标准，把线上实时数据当作抽血结果，逐项对比。

计算PSI时，先把分数（或某一特征）分成若干个区间，例如10箱；然后分别统计基准样本和线上样本在每个区间的占比；最后套用下面的公式：

体检单上，PSI通常这样解读：小于0.1，分布稳定；0.1到0.25，开始漂移，需要警惕；超过0.25，严重漂移，必须尽快处理。特别注意，除了特征漂移，还要留意“概念漂移”——不是数据形状变了，而是“好人”“坏人”的定义变了，这比PSI更隐蔽。

模型性能监控

门卫自己说“我觉得还行”不算数，要看他到底看准了多少人。模型性能监控，就是给门卫出一张“实战成绩单”。

成绩单上有两类指标：技术指标和业务指标。技术指标中，KS和AUC最常用；业务指标则直接看通过率、坏账率。KS衡量的是模型把“好客户”和“坏客户”分开的本领：好人的分数和坏人的分数离得越远，模型越好。

KS的计算并不复杂：把所有客户按模型分数从低到高排列，在每个分数点上，累加“坏人命中率”和“好人命中率”，两者差值的最大值就是KS：

在风控实践中，KS通常在0.2到0.5之间属于表现正常，低于0.2说明模型区分能力弱，高于0.6反而要怀疑是不是发生数据泄露或标签泄漏。不过，KS只是“技术视力表”，业务上还得盯着坏账率——毕竟门卫再准，银行真正在意的是少亏钱。

告警与诊断

健康手环不会一直安静，心率飙到120就会震动报警。模型监控同样需要“警戒线”，否则PSI从0.05涨到0.3，你还在等月底报表，黄花菜都凉了。

警戒线怎么设？风控工程师常借用统计过程控制里的“3σ规则”：先算监控指标的历史均值 μ 和标准差 σ，再上下各拉一条控制限。指标连续越线，就自动告警。

告警只是第一步，诊断才是关键。收到告警后，要像医生看报告一样做根因分析：是哪个特征的PSI爆表？是新客群涌入还是数据接口故障？是标签口径变了还是上游策略调整？定位到“病灶”后，再决定是重训模型还是修正数据。

模型更新策略

门卫体检报告异常时，治疗方案不止一种。他可以每年固定回警校“回炉”（定期重训），也可以在站岗时边看边学（增量学习），还可以在指标突然恶化时被强制送训（触发式更新）。

定期重训最稳妥，但可能滞后，比如市场突变后要等下次计划才能更新；增量学习适合渐进式漂移，但容易受异常噪声污染；触发式更新则结合两者优点，用规则和实时指标决定是否启动重训。

实战中常用一个直观的触发条件：当整体PSI超过0.25，或模型KS相对基线下滑超过20%时，就启动更新，否则继续观察。

这就像医生根据化验单决定是否住院。不过要注意，触发更新不等于立刻全量替换线上模型，还要走下一节的灰度上线流程。

上线与回退

新门卫培训完，直接让他全盘接管银行大门？风险太大。更稳妥的做法是让他和老师傅一起站两周岗，随行观察，表现好再转正，不行就回退。这就是冠军挑战者（Champion vs Challenger）策略。

实施时，把1%~10%的真实流量分给挑战者模型，其余仍由冠军模型处理，经过一段时间的A/B测试，比较两个模型的业务表现。比较不能只看PSI，更要看坏账率、通过率等业务指标。

可以构造一个“业务提升率”公式，衡量挑战者比冠军好多少：

若提升率为正，说明挑战者坏账更低，可以考虑逐步放量；若为负或波动剧烈，就要按下“回退开关”，把流量切回冠军模型。回退不是丢人的事，反而是系统成熟的标志：只要提前做好版本快照、开关设计和监控预案，新模型上线就有了“后悔药”。

模型生命周期治理

门卫会老，模型也会。就算没有突发漂移，模型的效果也会像人衰老一样，随着时间自然下降。医院对所有病人建病历档案，模型治理则要求给每个模型建“模型卡片”。

一个典型的生命周期衰减曲线可以用指数衰减函数近似：

当 S(t) 跌破退役阈值（如KS低于0.2），模型就该“退休”，由新模型接管。工程治理上，还要把每一次监控记录、更新原因、上线负责人、回退日志都留痕，形成审计链路。金融监管对你“何时、为何、如何”更新模型问得清清楚楚，没有档案寸步难行。

给门卫建一份完整健康档案，不只是为了合规，更是为了让模型管理从“救火”走向“养生”。知道每个模型何时出生、何时生病、何时退役，AI风控团队才算真正管好了自己手上的“员工”。

AI 应用场景

Python 演示

import numpy as np  def calculate_psi(expected, actual, bins=10):    # 用训练样本的分布作为分箱边界    _, bin_edges = np.histogram(expected, bins=bins)    expected_counts, _ = np.histogram(expected, bins=bin_edges)    actual_counts, _ = np.histogram(actual, bins=bin_edges)     # 比例归一化, 并给零值一个极小值防止除零    expected_ratio = expected_counts / len(expected)    actual_ratio = actual_counts / len(actual)     psi = 0.0    for e, a in zip(expected_ratio, actual_ratio):        e = max(e, 1e-6)        a = max(a, 1e-6)        psi += (a - e) * np.log(a / e)    return psi  def main():    rng = np.random.default_rng(42)    # 模型训练时期的历史分数, 近似正态分布    train_scores = rng.normal(loc=0.0, scale=1.0, size=10000)    # 当前线上分数, 均值右移, 表示数据漂移    live_scores = rng.normal(loc=0.4, scale=1.0, size=10000)     psi = calculate_psi(train_scores, live_scores)    if psi < 0.1:        level = "稳定, 继续观察"        need_update = False    elif psi < 0.25:        level = "轻微漂移, 加强监控"        need_update = False    else:        level = "严重漂移, 触发更新"        need_update = True     print(f"PSI = {psi:.3f}, 状态: {level}")    print("是否建议触发模型更新:", need_update)    return psi, need_update  if __name__ == "__main__":    main()

1. _, bin_edges = np.histogram(expected, bins=bins)用训练分布计算分箱边界，之后实时分布也沿用同一边界。
2. expected_counts, _ = np.histogram(expected, bins=bin_edges)统计训练样本在每个箱子里的数量。
3. actual_counts, _ = np.histogram(actual, bins=bin_edges)按同一组边界统计线上样本数量。
4. psi += (a - e) * np.log(a / e)累加每个箱子的漂移贡献，得到最终PSI。
5. rng.normal(loc=0.4, scale=1.0, size=10000)模拟线上分数均值右移0.4，产生数据漂移。
6. if psi < 0.1根据行业经验解读PSI，小于0.1稳定，0.1~0.25关注，大于0.25触发更新。

常见误区

面试题