想象你带着一个“黑箱病人”走进体检中心——这个病人就是训练好的 AI 模型。你知道它的“症状”（输入数据）和“诊断结论”（预测结果），但完全不知道它体内如何运作：为什么给这个人批了贷款？为什么判定这张照片里有猫？模型内部到底“看”了什么？这时就需要可解释性工具出场。Captum 就像高端体检中心的“CT 扫描仪”，能把神经网络一层一层、甚至一个神经元一个神经元地透视清楚；ELI5 则像全科门诊的标准化验单，不管你是哪种“体质”（什么框架训练的模型），都能快速出一份通俗易懂的报告。本文就用这场“AI 体检”贯穿始终，带你掌握 Capum 和 ELI5 两大主流可解释性工具，学会给模型做全面体检、读懂归因报告。

岗位关联

掌握可解释性工具是 AI 工程师的必修课，它让你能向业务方解释模型行为、高效调试模型 bug，并满足监管合规对“AI 决策可解释”的硬性要求，直接提升你在团队中的不可替代性。

目录
  1. 可视化演示
  2. 工具选型对比
  3. Captum特征归因
  4. Captum层归因
  5. Captum神经元归因
  6. ELI5统一接口
  7. ELI5特征重要性
  8. 文本可视化
  9. 实战流程
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示Captum积分梯度特征归因、ELI5文本高亮可视化、以及两大工具的能力对比。切换模式探索不同解释方法如何揭示模型决策依据。

本节配有交互动效（进入视口后自动加载，约 3KB）。

积分梯度特征归因 从基线到实际输入路径上对梯度积分，满足完备性公理：归因值之和等于输出差 正值表示正向贡献（推高输出），负值表示负向贡献（压低输出），零值表示无影响 IG(x) = (x - x′) × ∫₀¹ ∂F(x′+α(x-x′))/∂x dα 积分梯度是Captum最常用的特征归因算法

工具选型对比

走进体检中心，前台护士会先问：挂哪个科？用什么仪器？面对一个训练好的深度学习模型，你首先要回答的也是同样的问题——选哪款可解释性工具。如果你的模型是用 PyTorch 搭的“深度黑箱”，那就该去“Captum 专科门诊”。Captum 这个名字源自拉丁语，意思是“理解”，它是 PyTorch 官方推出的可解释性库，能对输入特征、中间层甚至单个神经元做精细归因。如果你的模型是 scikit-learn、XGBoost、LightGBM 这些传统框架训练的“常规病人”，那么“ELI5 全科诊所”更快更方便——它提供一套统一的解释接口，不管模型内部是什么结构。

选型时真正要权衡的是三个维度：框架适配、归因深度、输出形态。框架适配决定了工具能不能用：Captum 只服务 PyTorch，ELI5 则通吃 sklearn 生态。归因深度决定了你能看到多细：Captum 支持特征级、层级、神经元级三层归因，ELI5 主要做特征级解释。输出形态则影响你的交付物：Captum 产出热力图、张量归因图，适合研究分析和可视化大屏；ELI5 直接输出格式整齐的文字报表和权重表格，适合快速生成报告。

两个工具并不是竞争关系，而是互补的“科室”。同一个业务里，深度神经网络用 Captum 做内部透视，配套的传统模型用 ELI5 出标准报告，两者各司其职。就像体检中心的 CT 室和化验室，一个看内部结构，一个看整体指标，共同构成完整的健康档案。选对了科室，后面的检查才会顺利。

Captum特征归因

病人最关心的问题往往是：“到底是哪个坏习惯导致了我的指标异常？”特征归因回答的正是这个——输入样本的哪个特征（比如年龄、血压、胆固醇）对模型的预测结果贡献最大。Captum 家族里最核心的算法是 Integrated Gradients（积分梯度），它解决了一个经典难题：当梯度饱和时，普通梯度法会错误地认为某个重要特征不重要。

积分梯度的思路很朴素：既然只看最终点的梯度不靠谱，那就从“空白基线”出发，沿着一条直线路径走到真实输入，把路径上每个点的梯度都累加起来。公式如下：

除了积分梯度，Captum 还提供 Saliency（显著性）方法，直接用梯度绝对值近似重要度，计算快但容易受饱和影响；Gradient×Input 方法把梯度与输入逐元素相乘，强调高幅值特征。拿到原始归因后还需后处理：取绝对值、按最大值归一化，才能统一画成热力图或条形图。这就像化验单上的各项指标，原始数值林林总总，归一化后才能放在同一张图上对比。

回到体检比喻：积分梯度就像一份“运动负荷心电图”——让病人从静止状态开始逐步增加运动量，全程记录每一次心率变化，最后得出哪个“环节”最耗能。相比只看终点状态的静态指标，这条路径信息要可靠得多。

IGi(x)=(xi−xi′)∫α=01∂f(x′+α(x−x′))∂xi dα\displaystyle IG_i(x) = (x_i - x'_i) \int_{\alpha=0}^{1} \frac{\partial f\left(x' + \alpha(x - x')\right)}{\partial x_i} \, d\alpha
这个公式的核心思想是：特征 i 的归因值 = 特征变化量 × 沿路径的梯度积分。它把“从无到有”的过程中，每一步的“敏感度”都记录了下来。
  1. 基线选取$x'_i$ 是解释的起点，通常取全 0 向量（相当于“空白病历”），代表没有任何信息时的状态。
    xi′=0\displaystyle x'_i = 0
  2. 插值路径$x' + \alpha(x - x')$ 表示从基线到输入的一条直线，$\alpha$ 从 0 变化到 1，像把一张白纸逐步涂成目标图片。
    path(α)=x′+α⋅(x−x′)\displaystyle \text{path}(\alpha) = x' + \alpha \cdot (x - x')
  3. 梯度计算$\dfrac{\partial f}{\partial x_i}$ 表示第 i 个特征变化一丁点时，模型输出的变化速度——也就是“敏感度”。
    ∂f∂xi=lim⁡ϵ→0f(xi+ϵ)−f(xi)ϵ\displaystyle \frac{\partial f}{\partial x_i} = \lim_{\epsilon \to 0} \frac{f(x_i + \epsilon) - f(x_i)}{\epsilon}
  4. 路径积分$\int_{\alpha=0}^{1} \cdots d\alpha$ 把路径上每个点的敏感度累加，解决了单点梯度饱和的盲区。
    ∫01g(α) dα≈1m∑k=1mg(km)\displaystyle \int_{0}^{1} g(\alpha) \, d\alpha \approx \frac{1}{m} \sum_{k=1}^{m} g\left(\frac{k}{m}\right)
  5. 缩放修正$(x_i - x'_i)$ 乘以积分结果，让归因值带上“该特征实际变化了多少”的权重，消除量纲差异。
    IGi=(xi−xi′)×积分结果\displaystyle IG_i = (x_i - x'_i) \times \text{积分结果}

Captum层归因

特征归因回答“哪个输入特征重要”，但病人还想知道：“我的肝脏、肾脏各自主导了什么？”对于神经网络来说，这些“器官”就是中间层。层归因（Layer Attribution）像给网络做 CT 断层扫描，逐层分析每一层输出对最终预测的贡献。

Captum 中的 LayerIntegratedGradients 把积分路径的思路推广到层激活上。它不再盯着输入像素，而是盯着某一层（比如卷积层的特征图）的输出张量。核心计算公式如下：

拿到层归因后，最常见的可视化方式就是热力图：把归因值映射为颜色深浅，叠在原图上，就能直观看到模型“在看哪里”。比如图像分类任务里，热力图高亮区域往往是目标的轮廓；在医疗影像中，医生可以通过热力图验证模型是否真的在关注病灶区域，而不是被水印或背景干扰。

Attr(Al)=(Al−A′l)⊙∫α=01∂f(x′+α(x−x′))∂Al dα\displaystyle \text{Attr}(A^l) = \left(A^l - A'^l\right) \odot \int_{\alpha=0}^{1} \frac{\partial f\left(x' + \alpha(x - x')\right)}{\partial A^l} \, d\alpha
这里 $A^l$ 是第 l 层的激活输出，$\odot$ 表示逐元素相乘。公式的含义是：某一层激活值的归因 = 激活变化量 × 沿输入路径的梯度积分。它告诉我们这一层“哪些通道的响应”对结果贡献最大。
  1. 层激活提取$A^l$ 是输入经过前 l 层计算后得到的激活张量，相当于 CT 扫描中某一断面的影像数据。
    Al=activations(layerl,x)\displaystyle A^l = \text{activations}(\text{layer}_l, x)
  2. 激活差值$(A^l - A'^l)$ 表示真实输入的激活与基线输入的激活之间的差异，即“这一层看到了什么新信息”。
    ΔAl=Al−A′l\displaystyle \Delta A^l = A^l - A'^l
  3. 层梯度$\dfrac{\partial f}{\partial A^l}$ 表示输出对第 l 层激活的敏感度，反映这一层在决策链中的“话语权”。
    ∇Alf=∂f∂Al\displaystyle \nabla_{A^l} f = \frac{\partial f}{\partial A^l}
  4. 逐元素缩放$\odot$ 将差异与梯度逐位置相乘，得到每个位置（通道、像素）的贡献热力值。
    Attri=ΔAil⋅∇Ailf\displaystyle \text{Attr}_i = \Delta A^l_i \cdot \nabla_{A^l_i} f

Captum神经元归因

如果说层归因是 CT 断层扫描，那神经元归因就是“细胞活检”——精确到单个神经元，看看是哪些“细胞”在强烈响应某个概念。这在模型可解释性研究中非常有用，比如发现某个人脸识别模型的某个神经元专门响应“微笑”这个属性。

Captum 的神经元归因工具（如 NeuronGradient、NeuronIntegratedGradients）允许你先定位某一层的某个神经元索引，然后计算该神经元对输入或对输出的归因。神经元定位公式如下：

神经元归因还有个进阶玩法叫“概念探测”：把一组概念样本（比如所有带“胡须”的图片）输入模型，看哪些神经元被稳定激活，从而给神经元贴上人类可读的“概念标签”。这就像在显微镜下辨认细胞种类——先锁定哪类细胞，再研究它在一群细胞中扮演什么角色。

aj=max⁡(0,∑iWjixi+bj)\displaystyle a_j = \max\left(0, \sum_{i} W_{ji} x_i + b_j\right)
这是 ReLU 神经元的经典计算公式：$W_{ji}$ 是连接权重，$b_j$ 是偏置，输出经过 ReLU 激活后得到神经元 j 的响应值 $a_j$。定位之后，就能针对这个神经元做归因分析。
  1. 加权求和$\sum_i W_{ji} x_i$ 是上一层所有输出 $x_i$ 乘以权重 $W_{ji}$ 后的总和，决定神经元的“输入能量”。
    zj=∑i=1nWjixi+bj\displaystyle z_j = \sum_{i=1}^{n} W_{ji} x_i + b_j
  2. 非线性激活$\max(0, z_j)$ 是 ReLU 激活函数，把负值清零，让神经元只在“兴奋”时输出正信号。
    aj=max⁡(0,zj)\displaystyle a_j = \max(0, z_j)
  3. 梯度归因算出该神经元对输入的梯度 $\dfrac{\partial a_j}{\partial x_i}$，就能知道“什么样的输入会让这个神经元最兴奋”。
    Attr(aj,xi)=∂aj∂xi\displaystyle \text{Attr}(a_j, x_i) = \frac{\partial a_j}{\partial x_i}

ELI5统一接口

与 Captum 的“专科深入”不同，ELI5 走的是“全科标准化”路线。它的设计目标是：不管你的模型是逻辑回归、随机森林还是 XGBoost，都能用同一套代码、同一种格式给出解释。这就好比全科诊所的前台统一开单——不管你挂哪个科，先给你一份标准化的基础检查报告。

ELI5 最核心的是两个接口：explain_weights 解释模型的全局权重，给出每个特征的整体重要性；explain_prediction 解释单次预测，告诉你“为什么这次预测出了这个结果”。两者的底层思想都是把模型的复杂决策近似为线性贡献：

ELI5 支持的长模型清单非常可观：scikit-learn 全家桶、XGBoost、LightGBM、CatBoost，甚至 Keras 的部分模型。这种跨框架的统一能力，让它成为 AI 项目中“快速出报告”的首选工具。你只需要一行 eli5.explain_prediction(model, sample)，就能得到格式整齐的解释，不需要关心模型内部是树结构还是线性结构。

f(x)≈∑i=1nwixi+b\displaystyle f(x) \approx \sum_{i=1}^{n} w_i x_i + b
这是局部线性近似的公式：无论模型内部多复杂，在某个预测点附近，都可以用一个线性函数来近似。$w_i$ 就是特征 i 的“贡献系数”，正是我们要找的解释。
  1. 线性近似$f(x)$ 是模型输出，$\sum w_i x_i + b$ 是它的线性近似，相当于“在局部把弯弯绕绕的曲面拉平成一块斜坡”。
    f^(x)=w1x1+w2x2+⋯+wnxn+b\displaystyle \hat{f}(x) = w_1 x_1 + w_2 x_2 + \cdots + w_n x_n + b
  2. 权重系数$w_i$ 衡量特征 i 对预测结果的贡献方向与幅度：$w_i > 0$ 推动正向预测，$w_i < 0$ 推动负向预测。
    wi=∂f^∂xi\displaystyle w_i = \frac{\partial \hat{f}}{\partial x_i}
  3. 偏置项$b$ 是所有特征都不起作用时的基准输出，代表模型的“先验倾向”。
    b=f^(0,0,…,0)\displaystyle b = \hat{f}(0, 0, \ldots, 0)

ELI5特征重要性

化验单上通常用“↑↓“箭头标出异常指标，ELI5 的特征重要性排序表就是模型的化验单。其中最经典的方法是”置换重要性”（Permutation Importance），它的思想非常朴素：把一个特征的值随机打乱，观察模型的预测误差变大多少。如果打乱某个特征后模型表现急剧下降，说明这个特征对预测至关重要；如果几乎没变化，说明它可有可无。

除了置换重要性，ELI5 对线性模型和树模型还能直接基于权重或树分裂频次给出重要性，然后按从高到低排列成 TopK 列表。列表顶部就是“最该盯着的指标”，底部则是可以优先考虑砍掉的弱特征。这就像医生拿着化验单对你说：“前三项箭头异常，先去查这三个；最后两项基本正常，不用管。”

PIj=1K∑k=1K[L(y,f(X))−L(y,f(Xperm,j(k)))]\displaystyle PI_j = \frac{1}{K} \sum_{k=1}^{K} \left[ \mathcal{L}\left(y, f(X)\right) - \mathcal{L}\left(y, f(X^{(k)}_{\text{perm}, j})\right) \right]
公式含义是：特征 j 的置换重要性 = 多次打乱该特征后，模型损失增加的均值。打乱后损失升得越多，该特征越重要。
  1. 基准损失$\mathcal{L}\left(y, f(X)\right)$ 是模型在原始数据上的损失，作为对照基准。
    Lorig=L(y,f(X))\displaystyle \mathcal{L}_{\text{orig}} = \mathcal{L}\left(y, f(X)\right)
  2. 置换数据$X^{(k)}_{\text{perm}, j}$ 表示第 k 次把特征 j 的列随机打乱后的数据——切断了该特征与目标 y 的真实联系。
    Xperm,j(k)=shuffle(Xj,seed=k)\displaystyle X^{(k)}_{\text{perm}, j} = \text{shuffle}(X_j, \text{seed}=k)
  3. 损失差异$\mathcal{L}\left(y, f(X^{(k)}_{\text{perm}, j})\right) - \mathcal{L}_{\text{orig}}$ 是打乱后的损失增量，度量“失去这个特征后模型变差了多少”。
    Δk=Lperm(k)−Lorig\displaystyle \Delta_k = \mathcal{L}^{(k)}_{\text{perm}} - \mathcal{L}_{\text{orig}}
  4. 多次平均$\frac{1}{K} \sum_{k=1}^{K}$ 用多次打乱取平均，消除随机性带来的噪声。
    PIj=1K∑k=1KΔk\displaystyle PI_j = \frac{1}{K} \sum_{k=1}^{K} \Delta_k

文本可视化

解释做得再科学，如果人看不懂，就等于白做。ELI5 在文本可视化上有一个绝活：把文本分类模型的预测解释用颜色高亮直接画出来——正面贡献的词标成绿色，负面贡献的词标成红色，颜色越深贡献越大。这比一张冷冰冰的数字表格直观得多。

文本可视化的数学基础是 softmax 概率输出，它把模型的原始分数转成“属于每个类别的概率”：

实际使用中，ELI5 的 show_prediction 会自动完成这一切：先计算每个词对预测的贡献权重，再映射成颜色透明度，最终渲染出一段带高亮的文本段落。模型说“这篇评论是好评”，它在解释报告里用绿色高亮"great"、“excellent“，用红色高亮”but”、“not“，你一眼就能看出模型是被哪些词”带节奏”的。

P(y=c∣x)=ezc∑k=1Cezk\displaystyle P(y = c \mid x) = \frac{e^{z_c}}{\sum_{k=1}^{C} e^{z_k}}
这是多分类概率公式：$z_c$ 是类别 c 的原始得分，经过指数变换和归一化后，得到 0 到 1 之间的概率。ELI5 在解释预测时会同时展示各类别概率，并对每个词标注贡献。
  1. 原始得分$z_c$ 是模型最后一层输出的类别 c 的 logit 分数，越大代表模型越倾向这个类别。
    zc=Wc⋅h+bc\displaystyle z_c = W_c \cdot h + b_c
  2. 指数放大$e^{z_c}$ 把所有分数映射到正数域，并放大差异——得分最高的类别概率会被明显拉开。
    ezc=exp⁡(zc)\displaystyle e^{z_c} = \exp(z_c)
  3. 归一化$\sum_{k=1}^{C} e^{z_k}$ 是所有类别的指数之和，把各项概率压缩到总和为 1。
    Pc=ezc∑kezk\displaystyle P_c = \frac{e^{z_c}}{\sum_k e^{z_k}}

实战流程

所有工具知识最终要落成一次完整的“体检流程”。用 Captum 和 ELI5 给模型做解释的实战流程可以归纳为四步：环境准备、模型加载、归因计算、报告解读。第一步环境配置：安装 captum、eli5 和可视化依赖，确认 PyTorch 或 sklearn 版本兼容。第二步模型加载：把训练好的模型从 checkpoint 恢复，包装成推理模式，同时准备一批需要解释的样本数据。

第三步是归因计算环节，核心代码模式大致如下：Captum 这边实例化一个解释器对象，传入模型和层/神经元索引，调用 attribute() 方法拿到归因张量；ELI5 那边直接调用 explain_prediction 或 explain_weights，返回结构化的解释字典。第四步是报告解读：把归因结果汇总成可视化图表或文字报告，结合业务规则验证合理性。如果归因结果与业务常识冲突，比如信贷模型认为“年龄越大违约风险越低”且权重极大，就需要回头检查训练数据是否存在偏差。

到这里，一次完整的“AI 体检”就做完了：ELI5 先出整体化验单（特征重要性排序），Captum 再对深度模型做逐层 CT（层归因）和细胞活检（神经元归因），最后汇总成一份既有全局视角又有局部细节的解释报告。工具选型、归因计算、可视化解读，每个环节都有明确的路径可依。

text1 行
流程要点：环境准备 → 模型加载 → 归因计算 → 报告解读

AI 应用场景

金融信贷风控模型解释

阶段：模型上线后的合规审查与调试

解决的问题：传统风控模型拒绝贷款时只能说“评分不足”，客户和监管机构都要求给出具体原因。Captum 对深度评分模型做特征归因，可以明确指出“收入稳定性贡献了 -0.32，负债率贡献了 +0.28”等量化解释，满足《个人信息保护法》对自动化决策解释权的要求。

具体案例：某消金公司用 PyTorch 训练了一个违约预测模型，使用 Captum 的 IntegratedGradients 对每个被拒客户生成解释报告，再配合 ELI5 对配套的 XGBoost 规则模型输出特征重要性报表，信贷审核人员能直接看懂“为什么拒绝”并据此进行人工复核。

电商推荐系统调试

阶段：推荐模型的线上效果分析与特征诊断

解决的问题：推荐模型点击率突然下降，工程师不知道是哪个输入特征出了问题。ELI5 的置换重要性恰好能回答“哪个特征对预测贡献最大”，排列最靠前的特征一旦发生数据偏移，就能第一时间锁定根因。

具体案例：某电商平台的召回模型使用 LightGBM，工程师用 ELI5 的 explain_weights 定期生成特征重要性报告，监控发现“用户最近点击类目”的重要性排名在双十一前后从第 3 位降到第 18 位，进一步排查发现是埋点数据缺失导致，及时修复了数据管道。

医疗影像辅助诊断报告

阶段：模型临床辅助决策的可信验证

解决的问题：医生不敢信任 AI 诊断结果，需要知道模型“看”了图像的哪些区域。Captum 的层归因生成热力图，叠加在 CT 影像上显示模型关注区域；神经元归因进一步验证是否有神经元专门响应病灶特征，为临床使用提供依据。

具体案例：某医疗 AI 团队用 Captum 对肺癌筛查模型做层归因，热力图显示模型在部分样本上关注了影像的角落文字水印而非肺结节区域，团队据此补充了对抗训练，显著提升了模型的泛化能力。

Python 演示

python53 行
import numpy as np class TinyModel:    """一个极简的二分类线性模型，用 sigmoid 做激活。"""     def __init__(self, weights, bias):        self.weights = np.array(weights, dtype=float)        self.bias = bias     def forward(self, x):        z = np.dot(x, self.weights) + self.bias        return 1.0 / (1.0 + np.exp(-z))  def gradient(model, x):    """计算模型输出对输入 x 的梯度。"""    z = np.dot(x, model.weights) + model.bias    p = 1.0 / (1.0 + np.exp(-z))    sigmoid_deriv = p * (1.0 - p)    return model.weights * sigmoid_deriv  def integrated_gradients(model, x, baseline=None, steps=50):    """从零实现积分梯度归因。"""    if baseline is None:        baseline = np.zeros_like(x)    ig = np.zeros_like(x, dtype=float)    for i in range(1, steps + 1):        alpha = i / steps        interp = baseline + alpha * (x - baseline)        grad = gradient(model, interp)        ig += grad * (x - baseline) / steps    return ig  def eli5_style_explain(model, x):    """模拟 ELI5 的 explain_prediction：线性贡献分解。"""    contributions = model.weights * x    ranking = sorted(        [(contrib, idx) for idx, contrib in enumerate(contributions)],        reverse=True    )    return ranking  if __name__ == "__main__":    weights = [2.0, -1.5, 0.8, 0.2]    model = TinyModel(weights, bias=0.1)    sample = np.array([1.5, 2.0, 0.5, 3.0])    print("预测概率:", round(model.forward(sample), 4))    attrs = integrated_gradients(model, sample)    print("积分梯度归因:", np.round(attrs, 4))    print("ELI5式解释:", eli5_style_explain(model, sample))
目的：用纯 NumPy 从零实现 Integrated Gradients 的核心算法，并模拟 ELI5 的线性贡献分解，帮助理解两大工具背后的数学原理。
  1. interp = baseline + alpha * (x - baseline)构造从基线到输入的插值路径，这是积分梯度的“路线图”。
  2. grad = gradient(model, interp)计算路径上当前点的梯度，相当于记录“每一步的敏感度”。
  3. ig += grad * (x - baseline) / steps把每步贡献累加起来，这就是离散化的路径积分。
  4. model.weights * x模拟 ELI5 的线性贡献分解：权重乘以特征值得到每个特征的贡献分。
  5. if __name__ == "__main__":程序入口，保证代码既能被导入也能独立运行。

常见误区

误区我用了 Saliency 方法，拿到梯度张量后直接当作特征重要性排序，认为梯度大的特征就是贡献大的特征。但结果和别人用积分梯度算出来的完全不一样，是不是我的模型有问题？

正解梯度只是“瞬时变化率”，它只反映了输入在当前位置变化时输出变化的快慢，并没有考虑特征本身的变化幅度。积分梯度把“从基线到输入”整个路径上的梯度都累加了一遍，相当于记录了一整段路程的油耗，而不是只看最后一脚油门的瞬时油耗。所以梯度大不代表贡献大，还要结合特征的实际变化量来看。

为何常见：Saliency 方法在教程里出现频率高、代码简单，容易让人误以为“梯度就是最重要性的直接度量”，忽略了它的局限性。

误区反正都是可解释性工具，我把 Captum 用在 XGBoost 模型上应该也没问题，或者用 ELI5 解释 PyTorch 的 ResNet 试试。

正解Captum 是 PyTorch 的专属工具，其所有归因算法都依赖 PyTorch 的自动求导机制，用在 sklearn 模型上根本无法运行；ELI5 的核心能力是 sklearn 生态的统一解释，虽然部分支持 Keras 模型，但对 PyTorch 深度模型的支持非常有限。选型必须看模型框架：PyTorch 深度模型用 Captum，sklearn 树模型用 ELI5。

为何常见：工具名称都带“可解释性”标签，初学者容易把整个领域视为一个同质工具箱，忽略了它们各自的技术栈依赖。

误区某个特征的归因分数是 -0.8，绝对值挺大的，但它是不是不重要？我可以直接把它从特征列表里删掉。

正解归因值的正负代表的是“推动方向”而非“重要性程度”。正归因表示该特征在把预测结果往目标类别方向推，负归因表示它在把结果往反方向推。比如在信贷模型中，“负债率”的归因是负值，恰恰说明它是压低违约概率评分的强有力证据——这个特征非常重要，只是方向相反。删除它反而会让模型失去关键的否决信号。

为何常见：人脑容易把“负”和“坏”关联起来，看到负数就条件反射地认为它不重要或者应该被抛弃。

误区模型说“年龄”对预测的贡献高达 0.6，那年龄一定和贷款违约有因果关系，业务上可以直接按这个归因值制定策略。

正解归因描述的是“模型在预测时使用了什么”，而不是“现实中什么导致了结果”。模型可能学到的是数据中的虚假相关（比如把“注册时间”当成“老用户”的代理特征），归因只会忠实反映这种学习结果。就像体检报告显示“血压高”和“压力大”相关，但不能仅凭相关就断定压力导致高血压。归因结果必须结合业务知识和实验验证才能用于决策。

为何常见：可解释性工具的输出看起来非常“科学”，容易让人产生“数值即真相”的错觉，忽略了模型本身可能存在的偏差。

误区我对同一个模型分别用了置换重要性、权重重要性和积分梯度，得到的排名差很多，一定是我代码写错了。

正解不同的重要性算法定义“重要”的角度不同：置换重要性衡量的是“特征被破坏后模型性能的下降”；权重重要性衡量的是“模型参数本身的绝对值”；积分梯度衡量的是“从基线到输入的梯度积分”。它们是从不同角度拍摄的三张 X 光片，自然会有差异。三张片子互相印证才能得到更全面的结论，而非追求完全一致。

为何常见：工具库提供了多种方法，用户默认它们应该输出相同排名，忽视了每种方法背后的假设和适用场景。

面试题

Q1. Captum 主要服务于哪个深度学习框架的模型解释？

单选题 · easy

  • A.TensorFlow 框架
  • B.PyTorch 框架← 正确答案
  • C.scikit-learn 框架
  • D.Keras 框架

答案：B。Captum 是 PyTorch 官方推出的可解释性库，它的所有归因算法都建立在 PyTorch 的自动求导机制之上。TensorFlow 和 Keras 有各自的解释工具，scikit-learn 框架则通常用 ELI5。

Q2. ELI5 工具的设计核心理念是什么？

单选题 · easy

  • A.只服务深度学习模型
  • B.提供统一解释接口← 正确答案
  • C.完全替代可视化框架
  • D.加快模型训练速度

答案：B。ELI5（Explain Like I'm 5）的核心目标是跨框架统一解释，无论底层是逻辑回归、随机森林还是 XGBoost，都通过 explain_weights 和 explain_prediction 输出一致格式的解释，而不是只服务某一种模型。

Q3. 关于 Integrated Gradients（积分梯度），下列说法正确的是？

多选题 · mid

  • A.需要从基线到输入做路径积分← 正确答案
  • B.基线通常取全零向量← 正确答案
  • C.归因值就等于模型梯度本身
  • D.完全不受梯度饱和影响

答案：AB。积分梯度的核心是从零基线出发，沿直线路径逐点计算梯度并累加，A、B 正确。它输出的是梯度积分而非瞬时梯度，所以 C 错。虽然它缓解了梯度饱和问题，但并非完全免疫（比如路径选择会影响结果），所以 D 错。

Q4. Captum 的层归因主要用于回答什么问题？

单选题 · mid

  • A.哪个输入特征最重要
  • B.某一层网络输出的贡献← 正确答案
  • C.训练样本的贡献大小
  • D.超参数的调优方向

答案：B。层归因（Layer Attribution）分析的是中间层激活对最终预测的贡献，常用来生成热力图。特征归因才回答输入特征的重要性，神经元归因回答单个神经元的作用，训练样本贡献则属于数据归因的范畴。

Q5. 以下哪个方法属于 Captum 的神经元归因？

单选题 · hard

  • A.特征置换重要性
  • B.神经元梯度归因← 正确答案
  • C.模型全权重解释
  • D.局部可解释模型

答案：B。NeuronGradient、NeuronIntegratedGradients 等都属于 Captum 的神经元归因工具，它们定位到具体神经元后计算归因。特征置换重要性是 ELI5 的方法，全权重解释是 explain_weights 的用途，LIME 则属于独立的局部解释框架。

Q6. ELI5 提供的主要统一解释接口有哪些？

多选题 · mid

  • A.explain_weights 全局权重解释← 正确答案
  • B.explain_prediction 单样本预测解释← 正确答案
  • C.explain_layers 网络层解释
  • D.explain_neurons 神经元级解释

答案：AB。ELI5 的两个核心接口是 explain_weights 和 explain_prediction。层解释和神经元解释是 Captum 的能力范围，ELI5 并不提供这些深度归因功能。

Q7. ELI5 的置换重要性核心思想是什么？

单选题 · easy

  • A.按梯度大小排列特征
  • B.打乱特征观察损失变化← 正确答案
  • C.统计特征出现频率
  • D.对不同特征做加权平均

答案：B。置换重要性把某个特征列的值随机打乱，破坏它与目标的关联，然后观察模型损失增大了多少。损失增大越多，说明该特征越重要。梯度大小、出现频率都不是置换重要性的计算依据。

Q8. 特征归因值为负数，最准确的理解是什么？

单选题 · hard

  • A.该特征不重要可以删除
  • B.该特征在向反方向推动预测← 正确答案
  • C.归因计算一定出了错误
  • D.该特征取值需要取反

答案：B。归因值的正负表示作用方向：正值把预测往当前类别推，负值把预测往相反方向推。负值并不意味着不重要，恰恰相反，绝对值很大的负值说明它是影响决策的强信号，只是方向相反。

Q9. 在可解释性工具选型时，合理的做法有哪些？

多选题 · hard

  • A.PyTorch 深度模型优先选择 Captum← 正确答案
  • B.sklearn 传统模型优先选择 ELI5← 正确答案
  • C.所有模型统一用一种工具即可
  • D.归因结果结合业务知识验证← 正确答案

答案：ABD。选型要按框架和需求区分：深度模型用 Captum 做内部透视，传统模型用 ELI5 出标准报告，A、B 正确。可解释工具并非万能替换，C 错在忽略了框架适配性。归因结果受数据偏差影响，必须结合业务验证，D 正确。

Q10. 在积分梯度中，基线（baseline）的主要作用是什么？

单选题 · mid

  • A.提高模型预测精度
  • B.作为解释的起点参照← 正确答案
  • C.加速模型推理速度
  • D.消除特征间的相关性

答案：B。基线的本质是“空白参照”（通常取全零向量），归因描述的是从基线到输入这条路径上积累的贡献。它不参与模型训练、不影响推理速度，也不做特征解耦，所以在选基线上得到性能提升是错误理解。