异常检测：统计方法

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

统计检测基础

阿蓝第一天到车间，老师傅老周没有直接教他挑次品，而是拎起一架直升机玩具：“先别看谁坏，先看大家正常的时候长什么样。”他把 1000 架玩具的重量抄在本子上，发现大多数挤在 100 克附近，越远越稀落，画出来像一座对称的钟形小山。老周说：“这叫正常的样子。记住它，谁离它太远，谁就有问题。”

在机器学习里，“正常的样子”就是一个概率分布。最常用的是正态分布（也叫高斯分布），它有两个关键参数：均值 μ 描述山顶位置，标准差 σ 描述山脚有多宽。统计异常检测的底层逻辑就是：把正常数据拟合成一个分布，然后计算每个样本落在这个分布里的概率，概率极低的样本就是异常点。

$$\displaystyle f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

1. 数据点 x：被检测的单条样本值，比如一架玩具的重量。

$$x$$

2. 均值 μ：全部正常样本的中心位置，分布曲线的对称轴所在。

$$\mu$$

3. 标准差 σ：衡量样本围绕均值的散布程度，σ 越大曲线越矮胖。

$$\sigma$$

4. 指数项：越偏离 μ，指数越负，概率越低，形成“中间高两边低”的形状。

$$e^{-\frac{(x-\mu)^2}{2\sigma^2}}$$

5. 归一化系数：让整个曲线下方的面积等于 1，才能当作概率来比较。

$$\frac{1}{\sigma\sqrt{2\pi}}$$

阿蓝把这张“钟形地图”贴在工位上，他开始意识到：所谓异常检测，不是上来就用放大镜找刺儿，而是先画好一张“正常的分布地图”，再用它丈量每个新来的样本。地图画得准，挑次品才有底气。

三西格玛法则

看了几天地图后，阿蓝嫌麻烦：“难道每个玩具都要查概率表？”老周递给他一把更快的尺子：“你只用记一个数：3。只要玩具重量偏离中心超过 3 个标准差，直接扔进次品箱。”

这个经验法则在统计学里叫三西格玛法则。它的思路是：先把原始数据转换成标准分数 Z，把“偏离了多少个标准差”变成一个统一刻度，然后用 |Z| 是否大于 3 作为异常判据。

$$\displaystyle Z = \frac{x - \mu}{\sigma}$$

1. 分子 x-μ：计算样本与均值的偏差量，正数表示偏大，负数表示偏小。

$$x - \mu$$

2. 分母标准差 σ：把偏差量除以标准差，转成“偏离了几个 σ”的标准单位。

$$\sigma$$

3. 取绝对值 |Z|：不管偏大还是偏小，只看偏离程度有多远。

$$|Z|$$

4. 判定阈值 3：若 |Z|>3，说明该样本落在 ±3σ 之外，正态下自然概率不足 0.3%，判为异常。

$$|Z| > 3$$

老周提醒阿蓝：“这把尺子只配钟形身材的玩具。”正态分布下，±3σ 能覆盖约 99.73% 的正常数据，可一旦数据歪歪扭扭，这把快尺就会误伤。阿蓝把“3“贴在手背上，也把”仅限正态”四个字刻在了心里。

箱线图检测

没过多久，产线换了手工玩偶。玩偶重量不再对称——多数偏轻，偶尔几个塞了超量棉花的特别沉，钟形小山变成了歪肩膀。阿蓝的老方法开始误伤：好多正常的轻玩偶被标成次品。

老周换了工具：“别管什么钟形不钟形，我用一个箱子框住中间 50% 的数据。”这个箱子由上下四分位数 Q3 和 Q1 搭成，箱子高度叫四分位距 IQR。箱线图的妙处在于：它只用中位数和四分位数描述数据，不依赖均值和标准差，所以对偏态数据格外稳。

判定是否离群，先计算箱子高度，再向上下各扩展 1.5 倍：

$$\displaystyle IQR = Q_3 - Q_1$$

$$\displaystyle \text{上界} = Q_3 + 1.5 \times IQR$$

1. 下四分位数 Q1：把数据从小到大排好，位置在 25% 处的数，箱子的下沿。

$$Q_1$$

2. 上四分位数 Q3：位置在 75% 处的数，箱子的上沿，刻画了数据的“高个子群体”。

$$Q_3$$

3. 四分位距 IQR：Q3 减 Q1，箱子高度，衡量中间 50% 数据的散布宽度。

$$Q_3 - Q_1$$

4. 危险区扩展 1.5×IQR：经验系数 1.5 把警戒线从箱子边缘再外扩一倍半，越线即判为异常。

$$Q_3 + 1.5 \times IQR$$

阿蓝发现，箱子就像一把软尺，不管你身材对称还是歪斜，它只关心你挤在人群的哪个位置。排在特别靠外、超出软尺警戒线的，才是真正可疑的家伙。手工玩偶产线的误伤率立刻降了下来。

高维挑战

第三个月，工厂上了智能恐龙玩具线。每只恐龙要同时检查 50 项指标：重量、长度、芯片电压、蓝牙信号、缝隙宽度……阿蓝傻眼了：“我总不能画 50 张钟形图吧？”

这就是高维数据给统计方法出的难题。当特征维度 D 变大，样本在高维空间变得稀疏，任何点之间的距离都趋向于差不多大，均值、方差这些低维直觉开始失效。更头疼的是，异常往往藏在多个维度的组合里——单看每个指标都正常，合起来就是个怪物。

以最常用的欧氏距离为例，高维下距离公式：

$$\displaystyle d(x, \mu) = \sqrt{\sum_{i=1}^{D} (x_i - \mu_i)^2}$$

1. 第 i 维偏差：样本与均值在第 i 个指标上的差值。

$$x_i - \mu_i$$

2. 求和 Σ：把 D 个维度上的偏差平方逐项累加，每个维度都在贡献力量。

$$\sum_{i=1}^{D}$$

3. 平方和再开根：把累加量开方，得到两点间的直线距离。

$$\sqrt{\sum_{i=1}^{D} (x_i - \mu_i)^2}$$

4. 高维陷阱：D 越大，各维的偏差被“平均化”，正常点与异常点的距离差异变小，低维时好用的阈值失去意义。

$$D \to \infty$$

阿蓝终于明白：在 50 维空间里，“远”这个字本身失灵了——大家看起来都一样远，就像站在一片空旷的操场上，每个人都隔得老远，谁也看不出谁离群。老周说：“单靠一把尺子量天下的时代结束了，该请新工具上岗了。”

非参数估计

老周请来了一位统计老师，他不画钟形图，也不画箱子，而是说：“把 1000 只恐龙的所有指标倒在地上，堆成一座地形山。山高的地方就是正常密集区，山脚稀稀拉拉的地方就是异常区。”

这就是非参数密度估计的思路——不假设数据服从任何固定形状，而是让数据自己说话。其中最常用的是核密度估计（KDE）：在每个样本点放一个“小陶罐”（核函数），陶罐的轮廓按距离衰减，所有陶罐叠加起来就是实际密度地形。

$$\displaystyle \hat{f}(x) = \frac{1}{nh} \sum_{i=1}^{n} K\left(\frac{x - x_i}{h}\right)$$

1. 样本点 x_i：第 i 个历史数据点，每个点都是密度地形上的一座陶罐。

$$x_i$$

2. 核函数 K：一个以 x_i 为中心、随距离衰减的山包函数，常用高斯核。

$$K\left(\frac{x - x_i}{h}\right)$$

3. 带宽 h：控制每个陶罐的胖瘦，h 太大地形太平滑，h 太小地形全是刺。

$$h$$

4. 频数叠加：把所有样本贡献的陶罐高度累加，得到位置 x 处的密度估计值。

$$\sum_{i=1}^{n}$$

5. 归一化系数 1/(nh)：除以样本量和带宽，保证整个地形面积为 1。

$$\frac{1}{nh}$$

阿蓝看着屏幕上堆出的地形山，发现它既不像钟形也不像箱子，却和真实数据严丝合缝。落在山脚稀疏地带的样本，就是恐龙玩具里真正的怪胎。统计老师拍拍他：“不预设形状，才能接住真实世界的千奇百怪。”

深度模型结合

地形山虽然厉害，可 50 维地形画不出来。厂里干脆上了一套 AI 系统：把所有指标送进一个“压缩-还原”的迷宫里，能完好还原出来的就是好玩具，还原得面目全非的就是次品。

这个迷宫就是自编码器（Autoencoder）：编码器 f 把高维输入压缩成低维瓶颈，解码器 g 再把它还原成原始维度。模型只在正常数据上训练，学到的压缩规则只适合“正常模样”。检测时计算重建误差：误差越大，说明越偏离正常模式。

$$\displaystyle \mathcal{L}(x) = \lVert x - g(f(x)) \rVert^2$$

1. 编码器 f(x)：把原始高维数据压缩成低维编码，相当于给恐龙拍一张骨架。

$$f(x)$$

2. 解码器 g(·)：把低维骨架还原回原始维度，相当于按骨架重建恐龙完整轮廓。

$$g(f(x))$$

3. 向量差：还原结果与原始输入逐维求差，得到差异向量。

$$x - g(f(x))$$

4. 误差平方：对差异向量各分量平方求和，得到重建误差分数。

$$\lVert x - g(f(x)) \rVert^2$$

5. 判决阈值：误差超过预先设定的阈值（如 95 分位数）即判为异常。

$$\mathcal{L}(x) > \text{threshold}$$

阿蓝看着 AI 系统的屏幕：正常恐龙还原得栩栩如生，一只芯片电压异常的恐龙还原出来变成了“四不像”，重建误差亮起红灯。至此，老周的统计尺子、统计老师的地形山、厂里的 AI 迷宫三件套齐了。阿蓝明白了一个道理：异常检测的本质，永远是先彻底理解“正常”，才能一眼揪住“异常”。

AI 应用场景

Python 演示

import numpy as np  class StatisticalAnomalyDetector:    """统计异常检测器: 支持 3-sigma 法则与箱线图(IQR)两种方法"""     def __init__(self, method='sigma', threshold=3.0):        self.method = method        self.threshold = threshold        self.mean = 0.0        self.std = 0.0        self.q1 = 0.0        self.q3 = 0.0     def fit(self, X):        """训练: 仅需统计量, 无需梯度下降"""        X = np.asarray(X, dtype=float)        self.mean = X.mean()        self.std = X.std()        self.q1, self.q3 = np.percentile(X, [25, 75])        return self     def predict(self, X):        """预测: 1 表示正常, -1 表示异常"""        X = np.asarray(X, dtype=float)        if self.method == 'sigma':            z = np.abs((X - self.mean) / self.std)            return np.where(z > self.threshold, -1, 1)        elif self.method == 'iqr':            iqr = self.q3 - self.q1            lower = self.q1 - 1.5 * iqr            upper = self.q3 + 1.5 * iqr            return np.where((X < lower) | (X > upper), -1, 1)        raise ValueError("method must be 'sigma' or 'iqr'")  if __name__ == '__main__':    rng = np.random.default_rng(42)    normal = rng.normal(100, 5, 200)    data = np.r_[normal, [135, 85, 112]]    det_sigma = StatisticalAnomalyDetector(method='sigma').fit(normal)    preds_sigma = det_sigma.predict(data)    det_iqr = StatisticalAnomalyDetector(method='iqr').fit(normal)    preds_iqr = det_iqr.predict(data)    print("3-sigma 检出异常数:", int((preds_sigma == -1).sum()))    print("IQR 检出异常数:", int((preds_iqr == -1).sum()))    print("3-sigma 标记的样本:", data[preds_sigma == -1])    print("IQR 标记的样本:", data[preds_iqr == -1])

1. self.mean = X.mean()训练时只算均值这一个统计量，没有迭代优化，因为统计方法用公式直接拟合数据
2. self.q1, self.q3 = np.percentile(X, [25, 75])计算上下四分位数，为箱线图准备材料
3. z = np.abs((X - self.mean) / self.std)把原始数据转成标准分数 Z，即“偏离了几个标准差”
4. return np.where(z > self.threshold, -1, 1)超过阈值标 -1（异常），其余标 1（正常）
5. iqr = self.q3 - self.q1计算箱子高度，即四分位距
6. lower = self.q1 - 1.5 * iqr计算下警戒线，越线即离群
7. return np.where((X < lower) | (X > upper), -1, 1)箱线图双侧判定，任一方向越线都算异常
8. data = np.r_[normal, [135, 85, 112]]在正常数据里混入 3 个人工构造的异常点，模拟真实污染场景

常见误区

面试题