用3sigma和箱线图揪异常值

可视化演示

动态演示用3sigma和箱线图揪异常的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

离群点认知：先学会“看谁不对劲”

老张分拣苹果的第一招，不是称重，而是“扫一眼”。一筐苹果都在150克上下，突然有一个像小西瓜、一个瘪得像枣子——根本不用精密仪器，肉眼就能看出它们“离群”。

这种“和大多数样本差异过大”的数据点，就是异常值，也叫离群点。在真实业务数据里，离群点通常来自三种渠道：一是测量环节出错，比如传感器抽风，传回一个离谱数值；二是人工录入失误，比如把15.2录成152；三是真实世界的“极端事件”，比如某个商品突然爆单。前两种属于“脏数据”，必须清理；第三种可能是宝贵信号，要单独审视。

要精确定义“离群”，需要一个正常范围。用中位数作为“标准身材”，再算每个样本与它的偏离距离：

老张收工时会记一笔：今天揪出三个“刺头”，两个是秤的问题，一个是隔壁山头的野苹果混进来了。数据里的异常值也这样——每个都值得追一追。

均值与标准差：给苹果重量“画像”

老张要向别人描述这筐苹果，不能把一整筐倒出来。最省事的答案是报出“平均重量”——把所有苹果重量加起来除以个数，这就是均值。但只说均值不够：两筐苹果平均重量可能都是152克，一筐每颗都恰好152克，另一筐忽大忽小。于是还需要一个描述“波动程度”的指标——标准差。它回答“苹果们各自偏离均值有多远”：

苹果重量通常近似服从正态分布——一条中间高、两头低的钟形曲线。正态分布有个美妙性质：约68%的数据落在“均值±1个标准差”内，95%落在±2σ，99.73%落在±3σ。这为3σ法则奠定了数学地基。老张的画像画好了：“平均152克，波动5克”——别人一问，他不用倒出整筐，直接报这两个数。

3σ法则：三倍波动的“红线”

既然正常苹果99.73%都落在“均值±3个标准差”内，那么落在这条红线之外的苹果，就有充分的理由被怀疑为异常。3σ法则由此而来：

3σ法则执行起来就是流水线：第一步求均值μ；第二步求标准差σ；第三步算上下边界；第四步扫一遍数据，把越界的样本标红。但这条“红线”有软肋：μ和σ本身会被离群点拉偏。想象全班平均身高因为一位巨人同学被拉高了几厘米，那“平均±3σ”的门槛也跟着变高，原本可疑的矮个子反而可能被“洗白”。所以3σ法则适合近似正态、离群点不多的数据，一旦污染严重，它自己也会“眼瞎”。老张很会用这把尺，但他也知道：如果筐里混进了几个“小西瓜”，拉偏平均重量的“猪队友”可能让真正的小瘪果漏网。

箱线图：更抗造的排队法

老张的第二种方法不依赖均值，而是把所有苹果按重量从小到大大排成一队。站在队首25%位置的苹果重量叫下四分位数Q1，队尾75%位置叫上四分位数Q3，正中间叫中位数。两个四分位数之间夹着的是中间一半苹果，这段箱子的宽度叫四分位距IQR：

有了IQR，箱线图就能挂出“异常须”：任何小于 Q1 - 1.5×IQR 或大于 Q3 + 1.5×IQR 的数据点，都被判为离群点。这个1.5倍是统计学大师 John Tukey 推荐的经验系数，并非严格数学定理。

为什么说箱线图“抗造”？因为中位数和四分位数只跟“排队位置”有关，就算你把300克的巨果塞进队伍，队列中间的位置几乎不动。它不需要数据符合正态分布，天生适合偏态数据。老张把排队法画成图贴在分拣台上：一个箱子加两根须，谁的重量飞出须尖，谁就进小黑屋。

两法对比：选绿线还是选红框

现在老张手上有两把筛子：一把是3σ的“绿色虚线”，一把是箱线图的“红色须须”。什么时候用哪把？关键看三点。

第一，看数据分布长相。3σ法隐含“数据近似正态”的假设，苹果重量刚好大多长成这样；但销售额、收入这类数据往往严重右偏（少数超高值拖着长尾巴），3σ的边界会被尾巴拽偏，而箱线图几乎不受影响，因为它只认“排队位置”。

第二，看数据被污染的程度。离群点越多、越极端，均值方差被拽得越狠，3σ法就越不可靠；箱线图像秤砣一样稳，哪怕筐里混进七八个巨果，箱子还是原来那只箱子。

第三，看解释成本。3σ法直接给出“均值±3σ”的直观数字，业务人员一听就懂；箱线图用五数概括（最小、Q1、中位数、Q3、最大）描述整体，图一画出来，分布、偏态、离群一目了然，更适合做报表和探索性分析。从数学上看，3σ区间在正态分布下覆盖约99.73%的数据：

老张的经验法则很简单：筐子大体均匀就用3σ法，一秒出结果；遇到奇形怪状的分布，换箱线图这头“老黄牛”，绝不翻车。

异常值处置：筛出来之后怎么办

揪出异常值只是第一步，更考验功力的是如何处置它们。老张的原则是“先复审，再决定”。他不会直接扔掉“刺头”苹果，而是先摸一摸、尝一尝，判断它到底是烂果、野果还是新品种。

对应到数据集，处置通常有四条路：复核（回溯数据来源，检查采集设备和录入日志）、删除（确认是仪器故障或录入失误造成的脏数据才剔除）、修正（能定位到正确值，比如传感器偏移导致多记3克，就修正回来）、保留（若异常值代表真实的极端事件，如大促销量暴增，必须保留甚至单独分析）。从公式角度，可以把处置看成一种替换规则：

从模型的角度看，异常值不是“病毒”，而是“情报”。在制造业里，一个偏离3σ的良品率数据，可能预示产线设备开始劣化；在风控里，一笔异常交易可能就是欺诈的前兆。所以，“处理”不等于“删除”，而是“给异常值一个交代”。老张把一箱“问题苹果”分成三堆：退回去的烂果、修修还能卖的磕碰果、送到研究组的新品种。每堆都说明了理由——这就是数据人的职业素养。

实战应用流程：把两把筛子装进流水线

最后，把这两把筛子装进AI数据处理流水线，形成一套“异常检测SOP”。以一座智能果园为例，传感器每小时上报湿度、温度、光照，小张负责跑这套流程：第一步数据清洗，剔除缺失值和明显越界值（比如湿度>100%），避免脏数据拖垮统计计算；第二步统计计算，对每个传感器维度分别计算均值/标准差或Q1/Q3/IQR；第三步标记判定，把新到的数据点与边界比较，越界就标红；第四步验证汇报，把嫌疑点交给业务方复核，确认后触发告警。

这一步可以概括成一个告警函数：

这就是统计方法异常检测在真实工程里的样子：不用训练神经网络，不用调参，几十行代码就能给每条数据安装一双“天眼”。它尤其适合单变量、高流动性、需要秒级反应的场景，比如工业传感器质检、服务器CPU监控、电商订单金额筛查。如果未来要做复杂的高维异常检测，这套统计方法也永远是第一个上场的侦察兵。小张把流程写成自动化脚本后，果园再没出现过“传感器报出零下50度”的笑话——异常在进模型前就被拦在了门外。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""用3sigma和箱线图揪出异常值"""import numpy as npimport pandas as pd def detect_3sigma(series):    """基于均值+-3倍标准差返回异常标记与边界"""    mean = np.mean(series)    std = np.std(series)    lower, upper = mean - 3 * std, mean + 3 * std    outliers = (series < lower) | (series > upper)    return outliers, lower, upper def detect_iqr(series):    """基于四分位距IQR返回异常标记与边界"""    q1 = np.percentile(series, 25)    q3 = np.percentile(series, 75)    iqr = q3 - q1    lower, upper = q1 - 1.5 * iqr, q3 + 1.5 * iqr    outliers = (series < lower) | (series > upper)    return outliers, lower, upper if __name__ == "__main__":    # 模拟一筐苹果的重量(克)，含两个异常值: 26 和 280    data = np.array([        152, 148, 155, 160, 149, 153, 158, 147, 156, 151,        154, 150, 157, 153, 146, 175, 149, 152, 155, 148,        151, 26, 154, 150, 156, 153, 158, 149, 152, 155, 280    ])    df = pd.DataFrame({"weight": data})    out3, low3, up3 = detect_3sigma(df["weight"])    out_iqr, low_iqr, up_iqr = detect_iqr(df["weight"])    df["sigma_outlier"] = out3    df["iqr_outlier"] = out_iqr    print("3sigma 边界: [%.2f, %.2f], 异常数: %d" % (low3, up3, int(out3.sum())))    print("IQR 边界: [%.2f, %.2f], 异常数: %d" % (low_iqr, up_iqr, int(out_iqr.sum())))    print(df[(df["sigma_outlier"]) | (df["iqr_outlier"])])

1. mean = np.mean(series)计算这一列数据的均值，作为3σ法则的中心值。
2. std = np.std(series)计算标准差，衡量数据波动的幅度。
3. outliers = (series < lower) | (series > upper)布尔向量逐位判断：小于下界或大于上界的样本标记为True。
4. q1 = np.percentile(series, 25)计算下四分位数Q1，即排队后25%位置的数值。
5. q3 = np.percentile(series, 75)计算上四分位数Q3，即排队后75%位置的数值。
6. lower, upper = q1 - 1.5 * iqr, q3 + 1.5 * iqr用1.5倍IQR算出箱线图上下边缘。
7. df["sigma_outlier"] = out3把3σ判定结果存成新列，方便查看哪些苹果被标记。
8. df[(df["sigma_outlier"]) | (df["iqr_outlier"])]筛选出任一方法标记为异常的行，打印“问题苹果”清单。

常见误区

面试题