Occlusion遮挡分析：可视化的特征归因方法

可视化演示

展示Occlusion方法：用遮挡框扫描输入特征网格，通过输出变化生成特征归因热图，直观定位关键区域。

方法原理

侦探阿明拿到了嫌疑人的照片，但他不知道证人究竟在看什么。他拿出便利贴，先盖住照片的左上角，问“还认得出吗？”，再盖住右下角，继续问。每一次回答都会让阿明知道：这块区域被遮住后，证人的判断有没有动摇。Occlusion遮挡分析正是这套朴素逻辑：把一张输入图片交给模型，先记录完整输入下模型给出的分数，再盖住一个区域，重新记录分数，两个分数之差就是这块区域的“重要性证据”。

把这件事翻译成技术语言，需要引入三个小物件：输入 \(\mathbf{x}\)、遮挡模板 \(\mathbf{M}_{i,j}\)、模型对类别 \(c\) 的输出 \(y_c\)。遮挡模板是一张和输入同样大小的“贴纸层”，在窗口内为 0，其余位置为 1。将模板与输入逐元素相乘，就相当于把窗口内的内容抹掉。模型输出的变化，正是我们衡量重要性的尺子。

当侦探把每一个位置都问过一遍，他就会得到一张“区域影响地图”：颜色越红，表示这个位置一旦被盖住，模型越懵。把所有窗口的分数汇集起来，再做一次插值放大，就是最终的热力图。这张图回答了一个关键问题：模型不是靠整张图平均地做判断，而是靠某些局部线索在做决策。

滑动窗口

侦探的便利贴不能随手乱贴，必须有一张“巡逻路线”：从左到右，再从上到下，一块块地盖。这个路线在算法里就是滑动窗口策略。窗口大小 \(h \times w\) 决定“一块便利贴有多大”，步长 \(s\) 决定下一张便利贴会往右/往下挪多远。窗口小，看得细，但次数多；窗口大，速度快，但可能把关键线索和无关背景一锅端。

滑动窗口的数量并不难算。把窗口从左上角移动到右下角，每一步移动 \(s\) 个像素，那么单方向上最多能停靠的位置数由图像尺寸、窗口尺寸和步长共同决定。这个数直接影响实验要做多少次“提问”。

如果步长小于窗口尺寸，相邻便利贴会重叠，一个像素可能被盖住多次。此时热力图上每个像素的分数通常取多次遮挡得分的平均，这样得到的图更平滑。侦探阿明心里清楚：路线越密，证据越细，但跑腿次数也越多。实际使用时要先根据目标物体的大小确定窗口尺度，再从大步长粗筛、小步长细查。

遮挡值选择

便利贴的颜色会影响证人的判断：用黑纸贴，可能连轮廓都看不清；用磨砂玻璃贴，只能模糊掉局部细节；用随机噪点贴，仿佛在照片上盖了一层“雪花”。Occlusion的不同变体，正是选择不一样的遮挡值。最常用的是常数灰块：把窗口内的像素替换成同一个值 \(b\)，比如 0、255 或整个数据集的平均像素。另一个常见做法是模糊掩码，把窗口内做高斯模糊，保留低频结构；还有随机噪声替代，尽量让遮挡后的区域看起来接近训练数据。

这些选择不是随意的，因为模型对“被遮挡后的输入”依然会给出输出。如果遮挡值让输入掉进模型从未见过的分布，输出下降就未必是因为“信息被拿走了”，也可能是因为“输入变得奇怪了”。把遮挡值写成公式，就是保留窗口以外的信息，同时用常数 \(b\) 填充窗口内部：

不同任务适合不同“贴纸”：图像分类常用常数块，文本模型常用 [MASK] 标记，语音模型常用静音片段。侦探阿明总结出一条经验：不要默认黑色最好，要多试几种遮挡值，看哪些区域在不同“贴纸”下依然稳定地重要，那才是真正值得怀疑的线索。

基线设定

侦探在贴便利贴之前，一定会先问证人一句：“没贴东西时，你认得出来吗？”这个“没贴东西”的状态，就是 Occlusion 的基线。没有基线，所有遮挡后的输出都失去了比较的锚点；有了基线，我们才能说“输出下降了多少”。完整输入下的输出 \(y_c(\mathbf{x})\) 是一切重要性分数的起点，也是遮挡分析的“零水位线”。

只记录下降幅度还不够，因为不同模型输出的绝对数值差异很大。为了让热力图在 0 到 1 之间保持可比性，通常会对分数做归一化：把最小值映射成 0，最大值映射成 1。这样无论是图像分类、文本情感分析还是语音识别，最后都能得到一张用同一把尺子衡量的热力图。

如果基线本身不稳定，比如模型对完整输入的输出很低，那么“下降幅度”的空间就会很小，热力图可能一片模糊。侦探阿明会建议同行：先跑一次无遮挡基线，确认模型对这个样本确实有把握，再开始逐块遮挡。基线选得准，热力图才能讲出干净的故事。

方法对比

Occlusion不是唯一的侦探工具。有的侦探喜欢看“梯度地图”，有的喜欢做“公平分配”，还有的喜欢沿着路径一点点观测。Grad-CAM 是其中最出名的一种：它利用最后一层卷积的特征图，结合梯度算出每个通道的权重，再生成类别相关的热力图。SHAP 则把每个特征看作一个合作者，用博弈论里的 Shapley 值公平地分配“贡献度”。Integrated Gradients 从一张基线图片出发，沿着输入路径做积分，把输出变化逐步归因给每个像素。

这些方法各有脾气。Grad-CAM 快，但只能看到高层卷积的粗粒度位置；SHAP 理论严谨，但需要大量采样，计算极贵；Integrated Gradients 需要选好基线路径，对不连续的模型可能不稳定。Occlusion 的优点是不依赖梯度、不限定网络结构，只要模型能前向推理就能用，缺点则是要反复跑前向，速度慢。

侦探阿明的工具箱里没有万能钥匙。他会先用 Occlusion 快速锁定可疑区域，再用 Grad-CAM 验证高层语义是否一致，最后用 SHAP 或 Integrated Gradients 做更严谨的定量分析。多种方法交叉验证，才能避免单一工具带来的偏见。

计算代价

便利贴侦探的工作量并不仅仅是“贴一下”那么简单。每贴一块，都要让证人重新看一次照片，也就是让模型做一次完整的前向推理。遮挡窗口数量越多，前向推理次数就越多，计算代价像滚雪球一样上涨。假设一张高 \(H\)、宽 \(W\) 的图像，使用高 \(h\)、宽 \(w\) 的窗口，步长为 \(s\)，那么总的遮挡次数是行方向位置数与列方向位置数的乘积，另外还要加上一次无遮挡基线。

窗口越小、步长越密，定位就越精细，但前向次数会急剧增加。例如一张 224×224 的图，如果窗口大小 56、步长 56，只需 17 次前向；如果步长降到 8，前向次数会飙升到上千次。侦探阿明的省力技巧是先大步长粗扫，找到可疑区域后，再在局部用小步长细查，必要时还可以把多张遮挡图片拼成一个 batch 并行计算，让时间成本大幅下降。

多模态扩展

现实世界的“照片”不止一种。内容审核模型可能同时读图片和标题，医疗模型可能同时看 CT 片和检查报告，语音助手还要同时听声音和看文本。Occlusion 的便利贴思维可以自然延伸到多模态场景：图像上贴一块灰块，文本里把某个词替换成 [MASK]，语音中把某段时间窗静音。每一种模态都要有自己的“贴纸形态”，不能拿盖图片的方式去盖文字。

在多模态模型里，不同模态对最终预测的贡献需要加权汇总。比如一个图文分类任务，先单独遮挡图片得到图像重要性分数，再单独遮挡文本得到文本重要性分数，最后用权重 \(\lambda\) 把它们组合起来，就能看到“模型到底是在看画面，还是在读文字”。

这种扩展在真实产品里很有用：审核系统发现一条高危视频，工程师可以快速判断模型是因为画面里的武器、音频里的枪声，还是标题里的敏感词才给出风险判断。侦探阿明把这招称为“跨媒介联合办案”——每路证据单独审，最后再综合出结论。

AI 应用场景

Python 演示

import numpy as np  def toy_model(image):    # 简化模型: 只对左上角亮斑敏感    return float(np.mean(image[:6, :6]) * 2.0 + 0.4)  def occlusion_analysis(model, image, window_size=4, stride=2, baseline=0.0):    h, w = image.shape    base_score = model(image)    heatmap = np.zeros((h, w), dtype=float)    visit_count = np.zeros((h, w), dtype=float)    for top in range(0, h - window_size + 1, stride):        for left in range(0, w - window_size + 1, stride):            masked = image.copy()            masked[top:top + window_size, left:left + window_size] = baseline            diff = base_score - model(masked)            heatmap[top:top + window_size, left:left + window_size] += diff            visit_count[top:top + window_size, left:left + window_size] += 1    heatmap = np.divide(        heatmap, visit_count,        out=np.zeros_like(heatmap),        where=visit_count > 0    )    return heatmap  def normalize(saliency):    lo = float(saliency.min())    hi = float(saliency.max())    return (saliency - lo) / (hi - lo + 1e-8)  if __name__ == "__main__":    rng = np.random.default_rng(42)    image = rng.random((12, 12)) * 0.3    image[:4, :4] += 0.7  # 制造一个模型关注的亮斑    saliency = occlusion_analysis(toy_model, image, 4, 2, 0.0)    saliency = normalize(saliency)    print("亮斑区域平均重要性:", round(float(saliency[:6, :6].mean()), 3))    print("背景区域平均重要性:", round(float(saliency[6:, 6:].mean()), 3))

1. base_score = model(image)先记录无遮挡基线，这是侦探贴便利贴前的“原始回答”。
2. masked[top:top + window_size, left:left + window_size] = baseline把当前窗口区域替换成基线值，相当于贴上一张灰色便利贴。
3. diff = base_score - model(masked)用基准分数减去遮挡后分数，得到该窗口的输出下降量。
4. heatmap[top:top + window_size, left:left + window_size] += diff把下降量累加到窗口覆盖的每个像素上。
5. visit_count[...] += 1记录每个像素被多少窗口覆盖，用于后续平均。
6. np.divide(heatmap, visit_count, out=np.zeros_like(heatmap), where=visit_count > 0)对重叠区域取平均，避免某些像素被多次遮挡时重复计权。
7. normalize(saliency)把分数缩放到 0 到 1 之间，方便画热力图。

常见误区

面试题