WhyLabs：AI数据质量和模型监控

为什么需要 WhyLabs：模型上线后的「静默失效」

很多团队上线模型后只留一份推理日志，靠业务方反馈或周度人工抽检判断模型好坏。难点在于：特征分布漂移、缺失率上升、枚举取值出现新类别都是渐进式变化，单看原始日志很难发现；等业务指标明显下滑，往往已滞后数周。自研监控脚本则面临重复劳动——漂移度量、告警阈值、时间窗口聚合、多模型统一视图，每个环节都要重新踩坑，且很难沉淀成可复用的标准能力。

WhyLabs 用三件套分工解决：whylogs 在每个训练/推理批次上生成统计画像（profile，即数据分布的统计摘要），只记录分位数、均值、缺失率、唯一值等指标，体积小且可合并，天然适合跨时间比较；LangKit 把 LLM 的 prompt/response 转成提示注入、越狱、PII、情感等可量化指标，并统一封装为 profile；SaaS 平台负责集中展示、漂移告警与 segment（分组切片）分析。数据无需离开本地即可完成画像，合规压力小。

与同类工具相比，WhyLabs 更强调「采集 → 上传 → 告警 → 治理」的托管闭环：Evidently 重可视化探索与自托管报告，Great Expectations 重数据断言与质量门禁，而 WhyLabs 是三者中唯一自带 LLM 安全指标层、且提供免运维托管平台的方案。

安装与环境配置：3 步就绪

步骤一 · 安装。建议 Python 3.9+ 并新建虚拟环境。whylogs 是通用画像库，langkit 是 LLM 指标库，pandas 用于读取数据。

步骤二 · 配置平台凭据（可选）。仅在需要上传到 WhyLabs 平台时执行：注册免费开发者版 → 创建组织（Organization）与模型（dataset/model）→ 获取 API Key。凭据可通过环境变量 WHYLABS_API_KEY、WHYLABS_DEFAULT_ORG_ID 注入，也可写在 whylabs.yaml 中由 writer 读取。纯本地画像无需任何凭据。

步骤三 · 验证安装。打印版本号确认库可用。

python -m venv .venvsource .venv/bin/activatepip install whylogs langkit pandaspython -c "import whylogs; print(whylogs.__version__)"

快速上手：10 分钟跑通「画像 → 上传 → 看板」

最小可用闭环是：对一批数据生成 profile → 本地查看统计摘要 → 上传平台，平台自动展示数据质量与漂移曲线。整个过程只需一个 Python 脚本加一次平台配置。

1. 准备数据并生成画像：用 why.log(df) 对 DataFrame 打画像，一次调用即完成全量列的统计摘要计算。

2. 本地查看摘要：profile.view().to_summary_dict() 返回嵌套字典，按 columns[列名] 取单列的分位数、均值、缺失率、类型等指标，可先本地校验数据质量。

3. 配置凭据并上传：调用 writer("whylabs") 并指定 org_id、api_key、dataset_id（即平台上的模型 ID），write() 即完成上传。

4. 平台侧观察：登录 WhyLabs 平台，在对应 model 下查看每列分布、缺失率以及跨批次的漂移曲线；把「训练画像」和「最新画像」各传一份，平台即可直接画出分布漂移趋势。

上传后平台会显示每个特征的分布、缺失率与跨批次漂移；训练/推理画像对比即可直接呈现数据漂移。进阶技巧：在推理管道中按 5 分钟或每小时窗口生成画像并 merge 后再上传，可显著降低 API 调用次数。

import whylogs as whyimport pandas as pd # 1. 对一批数据生成统计画像df = pd.read_csv("my_data.csv")profile = why.log(df).profile()view = profile.view() # 2. 查看某个特征的统计摘要summary = view.to_summary_dict()print(summary["columns"]["age"]) # 3. 上传到 WhyLabs 平台（需注册并取得 org_id / api_key）profile.writer("whylabs").option(    org_id="org-xxxx",    api_key="your-api-key",    dataset_id="model-1",).write() # 4. 持续监控：新数据到达时生成新画像并上传latest = why.log(pd.read_csv("my_data_latest.csv")).profile()latest.writer("whylabs").option(    org_id="org-xxxx", api_key="your-api-key", dataset_id="model-1").write() # 5. LLM 场景：把输入输出转成安全与质量指标画像from langkit import input_outputllm_profile = input_output.log_prompt(    prompt="用户输入文本",    response="模型输出文本",)

核心能力详解：4 大支柱

支柱一 · whylogs 统计画像。这是整套体系的数据底座。whylogs 将任意数据（DataFrame、字典、JSON、numpy 数组）压缩为统计画像：分位数估计、均值/标准差、缺失值计数、唯一值数量、类型推断与字符串词频等。画像用 Protobuf 序列化，体积远小于原始数据，支持 merge() 合并多个画像，因此可以做流式聚合和跨数据集比较，且原始数据始终留在本地环境。

支柱二 · 漂移与数据质量检测。在多个时间批次画像之上，WhyLabs 计算分布漂移指标（如 KL 散度等距离度量）并支持设置告警阈值；数据质量维度覆盖缺失率、类型错误、取值域越界等。平台还支持 segment 分析——按地区、渠道等分组切片观察，定位漂移发生在哪个子群体，而不是只给一个整体告警。

支柱三 · LangKit LLM 可观测性。LangKit 把 LLM 应用的 prompt/response 转成 whylogs profile 指标，覆盖提示注入检测、越狱（jailbreak）检测、PII 识别（基于 NER）、情感分析、主题分类、毒性检测，以及通过正则匹配识别邮箱、信用卡号等敏感模式。同时记录 token 数、延迟等调用元数据，让安全与性能指标进入同一监控通道。

支柱四 · WhyLabs 平台监控与告警。SaaS 平台提供多模型的统一仪表盘：每个特征的分布、缺失率、漂移曲线、告警历史，并支持自定义告警规则与通知渠道。开发者免费版可覆盖入门监控规模，企业版提供更长的数据保留期、更高写入额度与团队协作能力。平台只接收 profile 摘要，不需要也不接受原始数据上传。

生产部署与监控：从上线到运维

部署方式一 · 批处理管道内嵌。在 MLflow/SageMaker/Airflow 的训练与推理 step 中增加「生成画像」步骤：训练侧对训练集打画像，推理侧按批次对输入特征打画像，profile 先落 S3/本地对象存储，再由异步任务批量上传到 WhyLabs。训练与推理画像分开记录，平台据此计算训练-推理漂移。

部署方式二 · 流式场景接入。实时应用按固定时间窗口（如 5 分钟、1 小时）聚合 profile 并 merge()，再统一上传，避免逐条写入产生大量 API 请求；窗口边界与分区键需全局统一，否则跨时间比较会失真。LangKit 指标在同一窗口内合入同一画像，保持安全监控与性能监控节奏一致。

可观测性闭环。平台侧配置三类告警：数据漂移（分布距离超阈值）、数据质量（缺失率、类型错误率超标）、性能（延迟/错误率）。配合 segment 分析定位问题子群体；数据保留期与访问控制满足审计需求。上传链路建议加指数退避重试，避免网络抖动丢画像。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>profile 只含统计摘要、不含原始数据行；需要回溯具体样本时，务必在本地或 S3 自行留存原始数据</li><li>免费开发者版有写入量、数据保留期限制，超限会停止更新或丢弃旧画像，上线前确认额度</li><li>流式场景忘记按统一时间窗口 merge，会导致跨批次统计口径不一致、漂移误报频发</li><li>新版 whylogs 要求 Python 3.9+，老环境无法升级时先锁旧版本号，不要直接装最新版</li><li>API Key 是平台唯一鉴权凭证，应放环境变量或密钥管理服务，严禁提交进 Git 仓库</li></ul>

版本迭代

WhyLabs 的工具矩阵以 whylogs 画像库为底座——v1 系列奠定了「日志式统计画像 + 跨时间比较」的核心范式；2024 年 v2.0 重写内核，降低内存占用、提升流式聚合能力并支持 Arrow/Polars 数据后端。LangKit 作为 LLM 可观测性扩展自 2023 年起独立迭代；SaaS 平台本身为托管服务，无公开版本号。（截至训练数据，可能已有更新版本）

AI 应用场景

常见误区

面试题