随机平滑：给鉴宝师签一份“扰动免责险”

可视化演示

展示K近邻算法的分类过程，通过滑块调整k值，观察最近邻投票如何决定查询点的类别归属。

威胁模型：骗过鉴定师的“微小手脚”

先我们把镜头对准敌人——造假者。在鉴宝界，最嚣张的造假者不是整体仿造，而是“微调真品”：用砂纸在碗底磨掉一丝釉，用针尖挑走一片青花。对人眼来说，这件宝物几乎没变；但对你这位鉴宝师来说，关键特征刚好被动过，结论就从“明代”翻成了“清代”。AI领域把这套手法叫对抗样本攻击。攻击者拿到你面前一张猫的图片，在像素上施加极其细微的扰动——可能是某个像素值从 120 变成 121——人眼完全看不出区别，模型却把“猫”认成了“狗”。

科学上，我们必须给“改动幅度”定一个标尺，否则讨论无法进行。这个标尺就是扰动范数。最常用的是 L2 范数：把所有像素的改动量平方求和再开方，衡量整个改动的“总力气”。

除 L2 范数外，常见还有 L∞（最大单像素改动幅度）与 L0（改动像素个数）。随机平滑天然适配 L2：只要攻击者的扰动被限制在 L2 球内，认证结论就有效。威胁模型的价值在于，它让“防御”有了讨论边界——没有明确攻击者力量上限的防守，就像不设赔付限额的保险单，迟早会被薅穿。

防御思路：火眼金睛 vs 保险合同

知道了敌人会怎么做小动作，接下来考虑防御策略。鉴宝界历来有两派思路。第一派是“经验派”：不断收集各种做旧手法，喂给鉴定师看，让他在见过无数假货后产生直觉。放到AI里，这就是对抗训练（Adversarial Training），一种典型的经验防御。它能挡住训练时见过的攻击手法，但面对新发明的“砂纸手法”，很可能再次翻车——没有任何数学上的承诺。

第二派是“合同派”：不再依赖鉴定师个人的眼力，而是设计一套流程，对任何承诺给出白纸黑字的合同条款。这一类叫认证防御（Certified Defense）。它不关心攻击者具体用什么招式，只关心“你的改动总力度不超过 ε 时，我的结论一定不变”。随机平滑正是合同派的杰出代表：它的基本思路是给输入加随机噪声后做大量采样投票，让每个结论都附带一个数学上的保证半径。

为什么加噪声就能“可证明”？因为一旦我们掌握了“在原输入附近，某个类别的获胜概率不低于 p”这个事实，再结合分类器在噪声下的稳定性，就能推论出：在半径范围内，无论攻击者如何施加 L2 扰动，概率权衡的结果都无法翻盘。这就是随机化机制与可证明鲁棒的核心。可以说，经验防御像“让鉴定师多踩坑”，随机平滑则是“把鉴定结论放在统计学显微镜下公证”。前者赌的是攻击者不够新，后者赌的是概率规律不会说谎。

噪声机制：给宝物撒一把“标准灰尘”

随机平滑的第一味药，是“灰尘”——也就是随机噪声。在鉴宝房里，老前辈说的“撒一把灰尘”，在数学上必须有标准配方。最常用的配方是高斯噪声：每个维度独立抽取一个服从均值为 0、标准差为 σ 的随机数，叠加到输入上。σ 控制“灰尘的粗细”：σ 小，灰尘细，扰动温和；σ 大，灰尘粗，能把整个宝物表面盖住。

σ 的选择是门艺术：它直接决定了认证半径与干净精度之间的平衡。σ 越大，认证半径的理论潜力越大，但也意味着输入被“灰尘”盖得更严实，模型在干净样本上的准确率往往会下降。实践中，σ 通常是一个需要网格搜索的超参，其量级与输入数值范围强相关——对像素值在 [0,1] 的图像，σ = 0.25 已是相当大的扰动。

投票预测：鉴宝评委会

有了灰尘配方，接下来请出“评委会”。想象你不再单独做决定，而是请来一百位水平与你相同的鉴宝师副本：他们每个人都对“同一件宝物”做鉴定，但每次鉴定前，宝物表面会随机撒上不同方向的灰尘。有的副本看到的是釉色稍淡的明代碗，有的副本看到的是带一点擦痕的青花。然后你统计票数：如果 95 个副本都异口同声说“明代”，这个结论就比单人鉴定可靠得多。平滑分类器（Smoothed Classifier）就是这么做的：每次对输入 x 施加独立的高斯噪声，交给基础分类器 f 判一次，做完 n 次后取票数最多的类别作为最终输出。

投票机制的精妙之处在于：单次判断可能被微小扰动骗过，但大量独立加尘后的多数意见，欺骗成本会急剧上升——造假者要想翻盘，必须让超过半数的“灰尘副本”都改变主意，而不只是骗过某一次鉴定。这就像打官司从“一个法官说了算”变成“陪审团多数说了算”，收买难度成倍增加。

认证半径：确定理赔边界

评委会给出了结论，但还没完——我们要给结论画一条“免责红线”。鉴宝行会需要一个承诺：只要做旧深度不超过某个值，你可以放心收购。这个值就是认证半径。数学上，设 p_A 表示在真实输入 x 处，平滑分类器对最终获胜类 A 的最低获胜概率（保守估计的下界），则认证半径由下式给出：

其中 Φ⁻¹ 是标准正态分布的逆累积分布函数。直观理解：获胜概率 p_A 越高，等价于评委团的“含伍量”越高，结论就越难被翻盘，允许的做旧范围也就越大。

这一公式背后是平滑分类器的 Lipschitz 性质：输入向任意方向移动不超过 r 时，获胜类别的置信度始终不低于 50%。换句话说，只要攻击者把宝物做旧的程度被限制在 r 的内部，无论用什么手法，评委团的最终结论一定是 A。若最终计算出的 p_A 置信下界不足 0.5，系统就输出"ABSTAIN"（弃权）——比给出一个不靠谱的承诺诚实得多。

置信下界：别让少数票拍板

你可能已经发现，认证半径的关键卡在 p_A 上：我们不可能做无限次采样，只能从有限的 n 次投票中估计真实概率。极端地说，如果只采 3 次票且 3 次都投给 A，你能据此拍胸脯保证 p_A ≥ 0.99 吗？当然不能。这就是统计学的用武之地：当 n 次独立采样中有 k 次投给 A 时，我们需要一个“保守估计”——在给定显著性水平 α 下，真实的投票概率至少是多少。这就是置信下界（Confidence Lower Bound）。

由于每次采样独立且只有“投 A / 不投 A”两种结果，k 服从二项分布。计算置信下界的经典方法是 Clopper-Pearson 区间：

其中 Beta 分布的分位数用参数 k 和 n-k+1 计算。这个公式看起来抽象，含义却很朴实：它把“k 次成功”换算成对真实概率最悲观的估计，保证“真实概率低于这个下界”的概率不超过 α。

可以看见，n 越大，下界越贴近观测比例 k/n；α 越小，下界越保守。所以工业实践中，第一阶段先用少量样本（如 n=100）快速判断哪一类领先，第二阶段再用海量样本（如 n=100000）精确锁定下界——先派侦察兵，再派大军，保险又省钱。

工程实现：把鉴宝车间流水线化

纸上谈兵结束，我们要真正开一间“鉴宝车间”。随机平滑的工程实现有一个标准流水线。第一道工序是高斯增强训练（Gaussian Augmented Training）：普通模型没吃过灰尘，直接拿来做平滑投票，每个副本都会晕头转向，票型松散。因此训练阶段就要在训练样本上叠加高斯噪声，让基础模型学会在扬尘中保持判断力。第二道工序是两阶段采样认证：在线推理时，先以较少采样（如 n0=100）初筛出候选类，再以较多采样（如 n=100000）滚动统计票数，计算置信下界和半径。这好比先让助理初选瓷器真伪，再请三位专家对候选品做精细会诊。

$$\displaystyle \text{流程：} x \xrightarrow{n_0 \text{ 次采样}} \text{初筛类 } c_A \xrightarrow{n \text{ 次采样}} p_{\text{low}} \xrightarrow{\Phi^{-1}} r$$

1. 初筛：先用 n0 次噪声采样确定领先类别，减少后续精确统计的候选范围。

$$\displaystyle c_A = \arg\max_{c} \; \text{count}_0(c), \quad n_0 \approx 100$$

2. 精确统计：对领先类 A，再采集 n 次票数，计算其置信下界 p_low。

$$\displaystyle p_{\text{low}} = \text{Beta}( \alpha;\, \text{count}_A, \, n - \text{count}_A + 1)$$

3. 输出半径：若 p_low < 0.5 则输出 ABSTAIN；否则按半径公式给出 r。

$$\displaystyle r = \sigma \cdot \Phi^{-1}(p_{\text{low}}), \quad \text{若 } p_{\text{low}} \ge 0.5$$

工程上还有两个可调的“旋钮”：σ 与 n。σ 决定鲁棒性的带宽，n 决定校验的置信度。两者叠加，构成了随机平滑在算力与防护效果之间的完整控制面板。一个设计良好的流水线，会把这两道工序封装成独立的服务接口——上游模型只负责训练，安全部门只调用认证接口，各司其职。

实践要点：权衡艺术与边界

最后，聊聊车间开起来之后会遇到的真实烦恼。第一条准则是没有免费的午餐：σ 拉大，认证半径能报得更大，但干净输入的准确率会明显下滑；σ 调小，日常精度漂亮，可认证半径小得没法看。你在每份认证报告上，都要同时记录“半径”和“干净精度”两个数，让甲方自己权衡。第二条准则是维度会惩罚偷懒：在高维输入上，同样的 L2 半径对应的像素改动总量更大，要盖住一个高维球需要更密的采样，计算成本随之上升。这也是为什么随机平滑在图像上效果好于在超高维稀疏特征上。

应用上，随机平滑适合所有“输入可加噪且语义不变”的任务——图像分类、语音指令识别、文本嵌入分类都行；但不适合那些对像素极度敏感的任务，比如像素级语义分割的边界像素。第三条准则是认清边界：随机平滑保证的是“L2 半径内预测不变”，它不防御 L∞ 的大规模扰动，也不防御数据投毒这类训练阶段攻击。它是一份精心起草的“扰动免责险”，条款里写明了承保范围。把这份保证书读透，你才知道什么时候能拍胸脯，什么时候该说“这个我们保不了”。

AI 应用场景

Python 演示

import numpy as npfrom scipy.stats import beta, normfrom sklearn.datasets import make_classificationfrom sklearn.ensemble import RandomForestClassifier  def lower_confidence_bound(obs, n, alpha):    """Clopper-Pearson 单侧下界：Beta(alpha; k, n-k+1)"""    return beta.ppf(alpha, obs, n - obs + 1)  def gaussian_augmented_fit(X, y, sigma=0.25, seed=0):    """用高斯增强样本训练分类器，提升其在噪声下的稳定性。"""    rng = np.random.default_rng(seed)    X_aug = np.concatenate([X, X + rng.normal(0, sigma, X.shape)])    y_aug = np.concatenate([y, y])    clf = RandomForestClassifier(n_estimators=100, random_state=seed)    clf.fit(X_aug, y_aug)    return clf  def smooth_predict(clf, x, sigma, n, seed=0):    """对 x 添加 n 次高斯噪声，返回各类别票数统计。"""    rng = np.random.default_rng(seed)    preds = clf.predict(x + rng.normal(0, sigma, (n, x.shape[0])))    counts = np.bincount(preds, minlength=len(clf.classes_))    return counts  def certify(clf, x, sigma, n0=100, n=1000, alpha=0.001, seed=0):    """两阶段认证：初筛 n0 次确定候选类，再用 n 次精算半径。"""    rng = np.random.default_rng(seed)    counts0 = np.bincount(        clf.predict(x + rng.normal(0, sigma, (n0, x.shape[0]))),        minlength=len(clf.classes_)    )    cA = int(counts0.argmax())    counts = smooth_predict(clf, x, sigma, n, seed)    p_low = lower_confidence_bound(int(counts[cA]), n, alpha)    if p_low < 0.5:        return "ABSTAIN", 0.0    radius = sigma * norm.ppf(p_low)    return cA, radius  if __name__ == "__main__":    X, y = make_classification(n_samples=400, n_features=8, n_informative=6,                               n_classes=2, random_state=42)    clf = gaussian_augmented_fit(X, y, sigma=0.25)    x_test = X[0]    c, r = certify(clf, x_test, sigma=0.25)    print("认证类别:", c, "认证半径:", round(r, 3))

1. X_aug = np.concatenate([X, X + rng.normal(0, sigma, X.shape)])生成高斯增强样本：把原样本叠加噪声后与原样本拼接，相当于在训练阶段提前给鉴定师“喂灰尘”。
2. preds = clf.predict(x + rng.normal(0, sigma, (n, x.shape[0])))对同一个输入 x 生成 n 个带噪副本并逐一预测，对应评委会的 n 次独立投票。
3. counts = np.bincount(preds, minlength=len(clf.classes_))统计每类的票数，得到“有多少个副本投给了第 c 类”。
4. p_low = lower_confidence_bound(int(counts[cA]), n, alpha)从票数反推真实获胜概率的保守下界，这是认证可信度的数学基石。
5. radius = sigma * norm.ppf(p_low)用下界概率计算认证半径；概率下界越高，绿圈画得越大。
6. if p_low < 0.5: return "ABSTAIN", 0.0若下界不足一半，系统诚实弃权，不给任何鲁棒承诺。

常见误区

面试题