特征归因方法：Integrated Gradients

可视化演示

展示沿基准点到输入的路径积分原理、完备性公理求和验证及四种归因方法对比，支持三模式交互切换。

黑箱困境：为什么要特征归因

想象你带着一支装备精良的登山队去爬一座浓雾笼罩的山。队伍爬得飞快，一天就登了顶，可你完全看不清山形——你只知道“进去一张地图，出来一个海拔数字”，却不知道是哪段路、哪块地形把队伍抬上去的。深度神经网络就是这样一支队伍：它把一张图片输入进去，吐出一个“猫 0.92”的分数，性能惊人，但它从不告诉你为什么。

这种“只给结果、不给理由”的模型被称为黑箱。在医疗、金融、质检这些容错率低的场景里，光有准确率远远不够——你需要知道模型依据了什么。这就是特征归因的需求：给输入中的每一个特征（一个像素、一个词、一个表格字段）分配一个贡献分数，回答“到底是谁在推动这个预测”。

围绕这个需求，归因方法大致分为三类：梯度类方法用反向传播得到的导数衡量特征敏感性；扰动类方法通过遮挡或修改输入观察输出变化（如 LIME）；代理模型类方法用一个可解释的简单模型在局部拟合黑箱（如 SHAP）。Integrated Gradients（积分梯度）属于第一类，但它不是看一眼终点的梯度就下结论，而是走完全程再算总账。

回到登山队：黑箱队伍爬得再快，你也得知道每个队员在山路上出了多少力。特征归因就是给这支队伍发一张“贡献账单”，而 IG 正是这张账单的计算器。

核心直觉：基准点与直线路径

山顶在浓雾里，你只看得见脚下的一小块地面。怎么定义“谁出了力”？必须先定一个参照系：从山脚基地营到山顶，所有队员出力的总和应当等于总爬升。于是问题变成——选一条确定的路上山，并在每一步记录坡度。IG 的选择是所有路线里最简单的一种：直线。

这条直线从基准点 $x'$ 出发，终点是待解释的输入 $x$。基准点代表“没有任何信息”的输入：对图像是纯黑图片，对文本是零向量。路径上的每一个中间点都是基准与输入的混合体——越靠近输入，越像输入；越靠近基准，越像“无”。

在路径的每个点上，模型都会给出一个梯度 $\frac{\partial F}{\partial x_i}$，它像登山时脚下的坡度计：告诉你第 $i$ 个特征在当前混合状态下，是往上推还是往下拽。但坡度只反映局部——你在半山腰感觉到的陡坡，不代表整座山都这么陡。要得到全局贡献，必须把整条路上的局部记录全部积分起来。

直线缆车路线不一定是最险的野路，却是最公平的评审路线——每个特征在这条路上受到的考察方式完全相同，没有捷径，也没有忽视。

数学原理：从路径积分到归因

你每走一小步，就记录一次每个队员的拉力大小（梯度），并乘以这一小段路的距离。把这些“拉力 × 步长”全部加起来，就是每个队员在这段路上的总贡献。IG 的数学定义就是这个朴素想法的连续化：特征 $i$ 的归因等于“特征总位移 × 路径上梯度的积分”。

为什么要沿着整个路径积分，而不是只看终点？因为深度网络有“梯度饱和”现象：当输入远离决策边界时，激活函数（如 tanh、ReLU）的梯度趋近于零。只看终点的梯度，会漏掉那些“在关键路段出力、到顶后休息”的队员。沿路径积分把沿途所有位置的梯度都纳入账本，即使终点梯度饱和，路径中段的梯度仍能传递信息。

雾中只测山顶的坡度会严重误判——饱和的梯度像队员到顶后瘫坐在地，看似没出力，其实关键路段全靠他。IG 从山脚一路测到山顶，谁的账都赖不掉。

计算实现：把积分变成累加

一步一个脚印地记录太慢了。你决定沿着缆车线每隔固定距离停一次，记一笔账：走 50 段就交账。IG 在实践中的做法完全一样——用黎曼和（离散求和）来近似连续积分。

具体来说，把路径参数 $[0, 1]$ 均匀切成 $m$ 段，在每段的采样点上用反向传播计算一次梯度。由于现代深度学习框架的自动微分一次就能给出全部特征的梯度，所以每个采样点只需要一次前向 + 一次反向传播。把所有采样点的梯度取平均，再乘以特征总位移，就得到归因。

工程上还有三个加速与稳定技巧：第一，把 $m$ 个插值点拼成一个 batch 一起前向，一次拿到所有梯度；第二，用梯形法则（相邻采样点梯度的平均值）替代矩形法，精度更高；第三，$m$ 通常取 20~50 即可，超过 200 步边际收益趋近于零，反而增加数值误差积累的风险。

记账员每隔固定距离记一笔，走完 50 段就合账——这就是“快速但足够准”的登山账单。IG 的计算成本是 $O(m)$ 次前向反向传播，远低于逐特征扰动的成本，这是它能大规模落地的关键。

公理性质：经得起查账的三原则

好的账单要经得起三种查账：第一，所有队员的收入加起来必须等于总爬升，没人凭空多拿也没人莫名消失；第二，全程没出力的队员必须零收入；第三，两个互换位置后效果完全相同的队员，收入必须一样。IG 的“公理”就是这三条铁律，外加一条“不因账本样式不同而改变结果”的保证。

完备性是最重要的性质，它是微积分基本定理的直接推论：只要模型函数沿路径几乎处处可微（深度网络的激活函数都满足），那么所有特征的归因之和精确等于模型输出从基准到输入的变化量。这意味着信息没有泄漏——预测的每一分上升，都被某个特征认领了。

敏感性保证“无辜者不被冤枉”：如果一个特征在整条路径上的梯度恒为零，即它对输出毫无影响，那么它的归因必为零。对称性保证“公平对待”：如果两个特征在函数中可交换（交换后输出不变），它们获得相同的归因。实现不变性则更进一步：两个结构不同但输入输出函数完全一致的网络，IG 给出的归因完全相同——因为公理只依赖函数本身，不依赖网络内部实现。

查账员拿着总爬升高度逐项核对，一分不差——这就是 IG 敢让业务方拿着归因结果去做决策的底气。完备性把“可解释”从口号变成了可验证的数学等式。

基准选择：归因的零刻度

基地营选在哪里，决定了“净爬升”怎么算。选在山脚，海拔差大；选在半山腰，海拔差小；选在另一座山头，爬升甚至可能变成下降。基准点就是归因的“零刻度”——同一个输入，换了基准，归因账单就会重写。

实践中常见的基准点有四类：零值向量（文本任务常用的零嵌入，代表“没有这个词”）；纯黑或纯灰图像（图像任务最常用，代表“没有视觉信息”）；模糊图像或高斯噪声（比纯色更接近自然图像的“无信息”状态）；语义起点（如类别的平均特征，包含一定先验）。选择原则是：基准应尽量不含与任务相关的信息，否则会把信息差算错。

基准的影响在线性模型上一目了然：如果 $F(x) = w \cdot x + b$，那么路径上所有点的梯度都恒等于权重 $w$，积分退化为简单的乘法。此时基准 $x'$ 只整体平移归因，不改变特征之间的相对大小。但深度模型远非线性，基准选择不当会显著扭曲归因，因此工程上常用“多基准取平均”来降低敏感性。

换个基地营，账单就变样——所以 IG 用户要像认真挑选营地一样，在报告中明确说明基准点的定义与选择理由。无信息、可复现、经过敏感性验证，是合格基准的三要素。

方法对比：与梯度乘积、LIME、SHAP 的差异

别的记账法是怎么算贡献的？有人只看队员在终点那一刻的爆发力（梯度类，如 Saliency Map 和 Gradient×Input）；有人把每个队员单独移开试一次，看队伍速度有没有变化（遮挡与 LIME）；还有人用简化模型精确模拟整支队伍的每种队形，计算博弈论上的 Shapley 值（SHAP）。IG 属于“全程记账”派，它和这三类方法各有本质差异。

最容易被混淆的是 Gradient×Input（梯度×输入）：它把输入 $x$ 直接乘以终点的梯度 $\frac{\partial F(x)}{\partial x}$。对于线性模型，这个公式是精确的；但在非线性深度网络中，它只看终点单点的局部信息，零值特征会被直接清零，且饱和小梯度会掩盖重要特征。IG 用 $(x_i - x'_i)$ 替代 $x_i$，用路径积分替代单点梯度，从根源上解决了这两个问题。

LIME 在输入邻域随机采样扰动，拟合一个线性代理模型来解释局部行为，它甚至不要求模型可微，但它是“局部近似”，不满足完备性，且随机采样导致结果不稳定。SHAP 基于 Shapley 值，理论上满足极强的公理体系，但精确计算需要遍历所有特征子集，指数级复杂度在特征多时不可行。IG 可被理解为以直线路径近似 Shapley 值的一种高效平均路径，计算量仅为 $O(m)$ 次前向反向传播，在效率与理论性质之间取得了最佳平衡。

Gradient×Input 像只看终点爆发力，LIME 像在局部试了几下就写报告，SHAP 像精确模拟所有队形却贵得离谱，而 IG 用一条直线路加全程记账，换来了“快速、稳定、且每分钱都有着落”的账单。

应用场景：热力图与文本高亮

拿到登山账单之后干什么？给队员调岗（模型调试）、向客户解释账单（合规汇报）、检查有没有队员偷懒（失败案例分析）。IG 的落地形态正是这三件事的可视化：把归因分数画成图像热力图、把词级归因做成文本高亮、把多模态归因拼成跨模态对照表。

图像任务中，IG 对目标类别输出求梯度积分，得到与图像同尺寸的归因图。将归因归一化后叠加到原图上：红色区域表示“强力推动该类预测”，蓝色表示“抑制该类预测”。工程师一眼就能看出模型到底是看猫的耳朵还是看背景的沙发。文本任务中，把词向量各维度的归因求和得到词级重要性，高亮关键词即可解释“为什么这条评论被判定为负面”。

模型调试是 IG 的高价值场景：如果一张“猫”图的热力图集中在图片角落的水印上，说明模型学到了伪相关；如果一张医疗影像的热力图集中在扫描仪伪影上，说明特征分布发生了偏移。多模态模型则可以分别对图像路径和文本路径做积分归因，比较两种模态各自贡献了多少预测分数，从而定位“图文不一致”的根因。

热力图就是把“登山账单”画成一张地形图——红的是主力队员的脚印，蓝的是拖后腿的地方。有了这张图，模型不再是一座沉默的黑箱山，而是一张可以对话的地图。

AI 应用场景

Python 演示

import numpy as np class TinyMLP:    def __init__(self, n_in, n_hidden, n_out):        self.w1 = np.random.randn(n_in, n_hidden) * 0.5        self.b1 = np.zeros(n_hidden)        self.w2 = np.random.randn(n_hidden, n_out) * 0.5        self.b2 = np.zeros(n_out)     def forward(self, X):        self.a1 = np.tanh(X @ self.w1 + self.b1)        return self.a1 @ self.w2 + self.b2     def train(self, X, y, epochs, lr):        y_onehot = np.eye(2)[y]        for _ in range(epochs):            logits = self.forward(X)            probs = np.exp(logits - logits.max(axis=1, keepdims=True))            probs = probs / probs.sum(axis=1, keepdims=True)            d_logits = (probs - y_onehot) / len(X)            d_w2 = self.a1.T @ d_logits            d_b2 = d_logits.sum(axis=0)            d_a1 = d_logits @ self.w2.T            d_z1 = d_a1 * (1 - self.a1 ** 2)            d_w1 = X.T @ d_z1            d_b1 = d_z1.sum(axis=0)            self.w1 -= lr * d_w1            self.b1 -= lr * d_b1            self.w2 -= lr * d_w2            self.b2 -= lr * d_b2     def output_for(self, X, class_id):        return self.forward(X)[:, class_id]     def grad_wrt_input(self, X, class_id):        grads = []        for i in range(len(X)):            x = X[i:i + 1]            logits = self.forward(x)            d_logit = 1.0 if class_id == 0 else 0.0            d_a1 = d_logit * self.w2[:, class_id]            d_z1 = d_a1 * (1 - self.a1 ** 2)            grads.append(d_z1 @ self.w1.T)        return np.array(grads)     def integrated_gradients(self, X, baseline, steps, class_id):        attrs = np.zeros_like(X, dtype=float)        alphas = np.linspace(0.0, 1.0, steps)        for alpha in alphas:            points = baseline + alpha * (X - baseline)            attrs += self.grad_wrt_input(points, class_id) / steps        return (X - baseline) * attrs  def main():    rng = np.random.default_rng(42)    X = rng.randn(120, 4)    y = (X[:, 0] + X[:, 1] > 0.0).astype(int)    model = TinyMLP(4, 8, 2)    model.train(X, y, epochs=300, lr=0.1)     x = X[5:6]    baseline = np.zeros((1, 4))    attr = model.integrated_gradients(x, baseline, steps=50, class_id=0)    print("样本特征:", np.round(x[0], 3))    print("特征归因:", np.round(attr[0], 4))    print("归因总和:", round(float(attr.sum()), 4))    diff = float(model.output_for(x, 0)[0] - model.output_for(baseline, 0)[0])    print("预测差值(完备性目标):", round(diff, 4)) main()

1. y = (X[:, 0] + X[:, 1] > 0.0).astype(int)构造只依赖前两个特征的标签，便于事后验证归因是否集中在前两维
2. points = baseline + alpha * (X - baseline)生成从基准到输入的第 α 个插值点，这就是“直线路径”上的采样位置
3. attrs += self.grad_wrt_input(points, class_id) / steps在每个采样点算一遍梯度并累加，除以步数就是平均梯度
4. return (X - baseline) * attrs平均梯度乘以特征总位移，完成“拉力 × 全程”的做功换算
5. diff = float(model.output_for(x, 0)[0] - model.output_for(baseline, 0)[0])计算完备性目标值，与归因总和对比验证积分是否正确

常见误区

面试题