在城市的角落有一家神秘的“算法餐厅”,主厨是位从不露面的黑箱大厨。他做出的“诊断汤”精准无比——只要你递上一篮子食材(基因表达量、蛋白丰度、代谢物浓度),他就能判断你有没有患病风险。可问题来了:顾客们不满足于“结果对”,他们想知道“凭什么?”是哪种食材让大厨皱起了眉头?这就像医生看完病只说“你有病”却不解释病因一样让人不安。 让黑箱大厨开口说话的技术,就叫“模型可解释性”。本文要讲两种最主流的“审问手段”:SHAP 和 Integrated Gradients。SHAP 像一群朋友吃汤后公平分摊饭钱的博弈论方法;Integrated Gradients 则像一位忠实的美食记者,从一碗清水开始,记录大厨往汤里加每一勺调料时风味的每一步变化。读完本文,你将理解这两种工具的数学原理、实操方法与应用场景,学会如何让多组学医疗模型从“黑箱”变成“白箱”。

岗位关联

对 AI 从业者来说,可解释性是医疗 AI 落地的硬门槛——它不仅能帮你通过监管合规审查,还能在特征工程、模型诊断和医患信任三个层面提供核心价值。

目录
  1. 可视化演示
  2. 可解释性概述
  3. 多组学数据基础
  4. SHAP原理
  5. SHAP应用
  6. IG原理
  7. IG实践要点
  8. 多组学实战
  9. 局限与展望
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示多组学模型中SHAP值特征贡献分解与Integrated Gradients梯度积分路径,对比两种解释方法的一致性。

本节配有交互动效(进入视口后自动加载,约 3KB)。

SHAP特征贡献分解 正值推高预测 负值降低预测 fi=E[f|S]+df Shapley值公平分配各特征贡献

可解释性概述

街角那家“算法餐厅”的诊断汤声名远扬:你递上一篮子食材——基因数据、蛋白读数、代谢物浓度——黑箱大厨三分钟就断定你患某种疾病的概率。汤虽准,顾客却越来越不安:“凭什么说我有病?是哪种食材让您皱眉?”大厨只回一句:“我的秘方,别问。”这就是黑箱模型的典型困境:预测越重要,不可解释越令人恐惧。

真实世界中的 AI 模型大多如此——深度学习模型准确率高得惊人,却说不清判断依据。在生命医学领域,这种“闷头干活不解释”的态度尤其不可接受:医生需要判断机器是否抓住了真正的生物学信号,患者有权知道结论的依据,监管法规也明确要求高风险 AI 系统提供合理解释。可解释性(Explainability)因此成为 AI 落地医疗的刚需。

可解释性通常分两个维度:其一,全局解释与局部解释。全局解释描述模型整体的决策逻辑,好比大厨的“得意菜系概览”;局部解释说明单个样本的预测依据,好比“这一碗汤里为什么放了这么多盐”。其二,固有可解释与事后可解释。前者指白箱模型(线性回归、决策树)自带逻辑,后者指对训练好的黑箱模型做二次分析。多组学模型以深度网络和集成树为主,天然依赖事后可解释,SHAP 与 Integrated Gradients 正属此类。

可以说,SHAP 与 IG 是两位风格迥异的“解释员”:前者擅长“公平分账”,把每个特征对预测的功劳算得明明白白;后者擅长“全程记录”,从一盆清水开始记录每一点风味的来源。有了它们,黑箱大厨终于愿意开口了。

多组学数据基础

要做出一碗诊断汤,食材分四大家族。“传家菜谱”写的是基因组——DNA 上每个位点的变异;“采购清单”是转录组——哪些基因正在被表达、表达量多少;“切好的半成品”是蛋白组——真实发挥作用的蛋白质丰度;而“最后调味”的代谢组记录小分子代谢物浓度,是细胞状态的快照。

这四类数据合称“多组学数据”。它们分别从 DNA、RNA、蛋白质和代谢物四个分子层次刻画一个人的生物学状态,信号互补:基因组突变不一定立刻影响表型,转录组表达的升高未必导致蛋白升高,代谢物则最接近真实的生理状态。将四者综合起来,才能还原疾病发生的完整图景。

但多组学数据有个共同的痛点——高维小样本:每个样本动辄数千至上万维特征,而队列研究往往只有几十到几百例。同时,同一通路里的基因、蛋白、代谢物彼此高度相关,特征间存在复杂的非线性交互。这使模型容易过拟合,也让“哪个特征真正起作用”变得格外难以回答——正如食材太多且相互串味时,很难说是哪一味主宰了汤的鲜香。

食材类别多、相互影响大,黑箱大厨却能从中找到规律——正因原料如此复杂,我们才更需要 SHAP 与 IG 这样可靠的“账房先生”和“记录员”来还原真相。

SHAP原理

几个朋友聚餐分账:有人点了龙虾,有人只喝了汤,还有人带了好酒。怎么分摊才公平?Shapley 值给出的答案是:把每一种“合作组合”都试一遍——先让所有人在各种小团体中分别合作,再计算“某个人加入某个团体”带来的边际收益,最后对所有可能顺序取平均。这就是博弈论中的“公平分账”。

SHAP(SHapley Additive exPlanations)正是把特征当作“聚餐的客人”,把模型输出当作“总账单”。每个特征对预测的贡献,就是它被加入任意特征子集后带来的平均边际变化。这样一来,功劳与责任都被公平分配到了每个特征头上。

对样本 $x$,第 $i$ 个特征的 SHAP 值定义为所有子集 $S$ 上的加权边际贡献之和:

因此,SHAP 不是简单地“看谁起的作用大”,而是把每种合作方式的贡献都算一遍再平均——正如分账时既要考虑“我一个人吃”,也要考虑“和大家一起吃”的各种情景,才能让每个人都心服口服。

ϕi=∑S⊆N∖{i}∣S∣! (∣N∣−∣S∣−1)!∣N∣![v(S∪{i})−v(S)]\displaystyle \phi_i = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|! \, (|N|-|S|-1)!}{|N|!} \left[ v(S \cup \{i\}) - v(S) \right]
这个公式的含义是:把“所有不包含特征 i 的特征组合”都列出来,逐一计算“加入特征 i 前后的模型输出差”,再按组合大小的排列概率加权平均。
  1. 特征全集 N所有食材的完整清单,比如基因组、转录组、蛋白组、代谢组中的每一种测量值
    N={1,2,…,n}N = \{1, 2, \ldots, n\}
  2. 子集 S 与补集S 是任意一组食材组合,$N \setminus \{i\}$ 表示“去掉食材 i 后的其他所有食材”
    S⊆N∖{i}S \subseteq N \setminus \{i\}
  3. 排列权重根据子集大小 $|S|$ 计算该组合在所有合作顺序中出现的概率
    ∣S∣! (∣N∣−∣S∣−1)!∣N∣!\frac{|S|! \, (|N|-|S|-1)!}{|N|!}
  4. 边际贡献把食材 i 加入组合 S 前后,汤的“美味值”之差——即 i 带来的增量
    v(S∪{i})−v(S)v(S \cup \{i\}) - v(S)
  5. 加权求和把所有组合的边际贡献按权重累加,就得到特征 i 的最终公平贡献
    ϕi=∑S∣S∣! (∣N∣−∣S∣−1)!∣N∣![v(S∪{i})−v(S)]\phi_i = \sum_{S} \frac{|S|! \, (|N|-|S|-1)!}{|N|!} \left[ v(S \cup \{i\}) - v(S) \right]

SHAP应用

分账明细一旦打印出来,顾客立刻能看出谁是这锅汤的“主角”:基因 X 像主料牛肉,蛋白 Y 像点睛的胡椒,代谢物 Z 则是提鲜的高汤。SHAP 的价值正是把这样一份“账单明细”交到研究者手中。

把每个样本的 SHAP 值汇总,我们能得到三种最常用的解释视图。其一,全局特征重要性柱状图——对所有样本的 SHAP 绝对值取平均,反映特征的整体影响力;其二,单样本力图(force plot)——展示某个具体样本里每个特征如何把预测从基线推高或压低;其三,SHAP 依赖图——横轴是特征取值,纵轴是其 SHAP 值,揭示特征与预测之间的非线性关系。

在多组学场景中,SHAP 的用途早已不限于“看看哪个基因重要”。它可以做模型诊断:如果“测序批次”或“样本采集中心”这类技术协变量的 SHAP 重要性异常高,说明模型学到了批次伪影而非生物学信号。它还可以做跨组学验证:当转录组和蛋白组同时指向同一通路时,研究者对该靶点的信心会大幅提升,后续湿实验验证的成功率也更高。

一份详尽的账单,既让顾客放心消费,也能让大厨发现自己可能放错了盐——SHAP 之于 AI 诊断系统同理:既是信任凭证,也是质检报告。

IG原理

另一种弄清楚汤味来源的思路不同:美食记者从一碗清水开始,要求大厨每次只加一种调料并记录汤的风味变化。从第一次加水到最后出锅,全程录像,最后把每一步的“风味变化率”乘以“加料量”累加起来,就得到每种调料的贡献。

Integrated Gradients(IG)把这条思路数学化:选择一条从基线 $x'$ 到当前输入 $x$ 的直线路径,沿途计算模型输出的梯度(风味变化率),然后对路径做积分(全程累加)。

IG 相当于给模型装了一台“烹饪过程记录仪”:它忠实记录从“无信息状态”到“当前样本”的全过程,每一步梯度变化都不遗漏,最终把功劳合理地分配给每位参与烹饪的食材。

IGi(x)=(xi−xi′)×∫01∂f(x′+α(x−x′))∂xi dα\displaystyle IG_i(x) = (x_i - x'_i) \times \int_{0}^{1} \frac{\partial f\left(x' + \alpha (x - x')\right)}{\partial x_i} \, d\alpha
通俗地说,IG 就是把“当前输入的每个特征值”与“基线的对应值”之差,乘上“模型沿路径各点的梯度积分”,从而把预测差异归因到每个特征上。
  1. 差值因子成品汤与清水在第 i 种食材分量上的总差距——如果该特征根本没变化,归因就是零
    xi−xi′x_i - x'_i
  2. 插值路径从基线到输入的直线上,参数 $\alpha$ 位置的中间状态——相当于“记录仪”此刻正对着的汤
    x′+α(x−x′)x' + \alpha (x - x')
  3. 梯度在中间状态下,第 i 种食材再增加一丁点对模型输出的影响速度——即“这一勺的边际风味变化”
    ∂f(x′+α(x−x′))∂xi\frac{\partial f\left(x' + \alpha (x - x')\right)}{\partial x_i}
  4. 定积分把 $\alpha$ 从 0 到 1 的所有影响速度累积起来——相当于全程录像每一帧的变化率求和
    ∫01∂f(x′+α(x−x′))∂xi dα\int_{0}^{1} \frac{\partial f\left(x' + \alpha (x - x')\right)}{\partial x_i} \, d\alpha
  5. 归因合成将总差距与累计速度相乘,得到特征 i 对模型输出的最终归因
    IGi(x)=(xi−xi′)×∫01∂f(x′+α(x−x′))∂xi dαIG_i(x) = (x_i - x'_i) \times \int_{0}^{1} \frac{\partial f\left(x' + \alpha (x - x')\right)}{\partial x_i} \, d\alpha

IG实践要点

记录员的工作看似简单,细节却决定成败——从什么时候开始记录?每隔多久记一次?记录仪的分辨率够不够?IG 的实践要点同样有三。

其一,基线的选择至关重要。对图像常用全零黑图作为“无信息”基线,但对组学数据,全零往往远离真实数据分布(表达量怎么可能全是 0?),通常取训练集各特征的均值向量或一组参考样本的均值。其二,积分需要数值近似。常用 Riemann 求和或 Gauss-Legendre 积分,步长越大近似越准但计算越贵。其三,IG 满足两条美好公理——敏感性(Sensitivity:变化的特征必获归因)与完整性(Completeness:所有归因之和精确等于模型输出相对基线的差值)。

与 SHAP 相比,IG 只需要沿一条直线路径算梯度,因此特别适合深度学习模型:一次反向传播就能拿到全部特征梯度。SHAP 在树模型上有 TreeSHAP 精确解,在深度模型上则通常依赖采样近似。两者并非竞争关系——工程中常同时计算、互相印证:如果 SHAP 说基因 A 最重要,而 IG 却说基因 A 几乎无贡献,就该警惕特征相关性或路径选择带来的偏差。

好的记录员未必与账房先生算出完全一样的数字,但两人若对“谁是主厨的得意食材”给出截然不同的答案,那就值得重新审视这锅汤的烹调过程了。

多组学实战

四种食材全部到位,黑箱大厨开始大显身手——他将基因、转录、蛋白、代谢的信息汇入一个多模态模型,像一位融合各路菜系的烹饪大师。这就是多组学整合模型的日常:输入多种组学特征,输出疾病风险、药效响应等预测。

多组学整合模型(如 MCAT、Pathformer 等 Transformer/图神经网络架构)能同时接收多类组学输入,但模型越复杂,解释越困难。因此需要一套标准解释流程:训练模型 → 用 SHAP/IG 做特征归因 → 按组学模态聚合归因 → 跨组学对照验证 → 锁定候选生物标志物。

层次化解释是实战关键:先在组学层面看“哪类食材决定味道”——比如代谢组贡献占比显著高于基因组;再下钻到具体特征,看到某个代谢物与某个基因表达的交互项贡献异常。真实案例中,研究者曾用 SHAP 发现某耐药模型的“转录本高表达”与“对应蛋白低丰度”同时贡献最多,提示翻译后调控机制值得深挖,这是一般单组学分析难以发现的线索。

一锅融合汤完成后,用 SHAP“拆账”、用 IG“回放”,相当于把大厨的秘方反向工程成一份清晰食谱——每个组学的贡献一目了然,也为后续实验验证指明了方向。

局限与展望

账房先生和记录员也并非万能——遇到记不清的账、被替代的食材、或者根本没人尝过的怪味汤,他们的结论也可能打折扣。SHAP 与 IG 的局限主要有四。

计算上,精确 SHAP 需枚举所有特征子集,指数级开销;IG 的数值积分也有近似误差。稳定性上,高度相关的特征之间归因可能剧烈波动——“分给谁的功劳”对微小扰动很敏感。语义上,归因描述的是相关性而非因果性,不能因为 SHAP 值高就断言该基因“导致”疾病。边界上,当输入落在训练分布之外时,插值路径会穿越模型从未见过的区域,梯度信息失真。

研究前沿正在这些方向上突破:因果可解释性——用结构因果模型替代纯相关性归因;反事实解释——追问“哪个特征改成多少就能翻转预测”;以及大模型时代的可解释对齐——让多模态医学大模型在生成解读时自带来源引用。可以预见,可解释性将从“事后追问”走向“事前设计”。

就像每一位大厨最终都要从“秘方不授”走向“开放厨房”,AI 医学应用也正沿着这条路径进化。SHAP 与 IG 是这条路上的重要里程碑,而更公平、更稳健、更因果的解释工具,正被一代代研究者端上餐桌。

AI 应用场景

肿瘤靶点发现

阶段:特征归因与生物标志物发现

解决的问题:传统差异表达分析只做单组学单变量统计,难以捕捉基因-蛋白-代谢物之间的跨组学协同信号。SHAP 基于多组学模型给出每个特征的贡献值,可直接输出“候选靶点 + 贡献方向”,把数千维特征浓缩成一张可操作的靶点清单。

具体案例:某乳腺癌研究收集转录组 + 蛋白组 + 代谢组数据,训练 XGBoost 预测复发风险。SHAP 分析发现某个代谢物虽然在单变量检验中不显著,但与特定基因表达交互后贡献排名第一,最终该代谢物被后续实验证实为潜在复发标志物。

临床决策支持解释性报告

阶段:模型部署与医患沟通

解决的问题:医生无法信任“黑箱”辅助诊断——模型说患者感染风险 80%,依据是什么?IG 从基线开始累积梯度,可为每个特征生成量化归因,辅助医生快速审核模型推理是否合理。

具体案例:脓毒症早期预警系统使用 LSTM 模型,IG 归因显示某患者“乳酸升高 + 白细胞降低”是最强贡献组合。医生核对后确认系统推理符合临床逻辑,签字采纳建议并提前干预,患者预后明显改善。

组学数据质量控制

阶段:模型诊断与调试

解决的问题:批次效应、测序深度差异等混淆因素会污染模型训练,甚至被当作“生物信号”学进去。SHAP 依赖图能帮助定位隐藏的混杂特征,让工程师在部署前发现并修复问题。

具体案例:一个多中心 RNA-seq 队列在训练后,SHAP 显示“测序批次”特征的重要性异常高,说明模型学到的是批次伪影而非疾病信号。团队据此加入批次校正层重新训练,模型在外部验证集上的 AUC 提升了 12%。

Python 演示

python46 行
import numpy as npfrom math import factorial  def model(x):    """模拟多组学模型: 线性主效应 + 基因-代谢物交互效应"""    return 1.2 * x[0] - 0.8 * x[1] + 0.5 * x[0] * x[2] + 0.3 * x[2]  def brute_force_shap(model, x, baseline=0.0):    """暴力枚举所有特征子集, 计算精确 Shapley 值"""    n = len(x)    phi = np.zeros(n)    for i in range(n):        for mask in range(1 << n):            if (mask >> i) & 1:                continue            S = [j for j in range(n) if (mask >> j) & 1]            v_with = model([x[j] if j in S + [i] else baseline for j in range(n)])            v_without = model([x[j] if j in S else baseline for j in range(n)])            weight = factorial(len(S)) * factorial(n - len(S) - 1) / factorial(n)            phi[i] += weight * (v_with - v_without)    return phi  def integrated_gradients(model, x, baseline=0.0, steps=50):    """从基线线性插值到输入, 沿路径数值积分梯度"""    n = len(x)    grad_sum = np.zeros(n)    eps = 1e-4    for alpha in np.linspace(0, 1, steps):        interp = baseline + alpha * (x - baseline)        for i in range(n):            xp = interp.copy()            xm = interp.copy()            xp[i] += eps            xm[i] -= eps            grad_sum[i] += (model(xp) - model(xm)) / (2 * eps)    return (x - baseline) * grad_sum / steps  if __name__ == "__main__":    # 模拟三个组学特征: 基因表达, 蛋白丰度, 代谢物浓度    x = np.array([1.5, 0.7, 1.2])    print("SHAP 归因:", np.round(brute_force_shap(model, x), 4))    print("IG 归因  :", np.round(integrated_gradients(model, x), 4))
目的:用暴力枚举 SHAP 与数值积分 IG 对同一个模拟多组学模型做特征归因,直观对比两类解释工具的输出。
  1. def model(x):模拟含交互项的组学预测模型,输入基因、蛋白、代谢物三类特征
  2. for mask in range(1 << n):用二进制掩码枚举所有特征子集,对应 Shapley 值的排列组合
  3. weight = factorial(len(S)) * factorial(n - len(S) - 1) / factorial(n)计算该子集作为排列的权重系数
  4. v_with = model([x[j] if j in S + [i] else baseline for j in range(n)])把目标特征放入子集,其余特征取基线,得到“加人后的账单”
  5. for alpha in np.linspace(0, 1, steps):沿基线到输入的直线路径均匀取点
  6. grad_sum[i] += (model(xp) - model(xm)) / (2 * eps)中心差分近似梯度,模拟“该特征变化一丁点带来的风味变化率”
  7. return (x - baseline) * grad_sum / steps用 IG 完整性公式合成最终归因

常见误区

误区觉得把 SHAP 值从大到小排一下,排名第一的就是“对预测最有利”的特征,而且一定是正向促进,值越大越好。

正解SHAP 值有正有负。正号表示把预测推离基线(如增大患病风险),负号表示反向抑制。绝对值才代表贡献大小,方向要看符号。就像分账时有人是“加菜功臣”(正贡献),有人是“点多了浪费”(负贡献),不能只看数额大小。

为何常见:很多教程展示的条形图只画了 SHAP 绝对值的均值,让人误以为“大 = 好”。

误区既然 IG 公式里有基线,那把基线设为全零总是对的,反正结果差不多。

正解基线代表“无信息状态”。对图像用全黑图合理,但对组学数据,全零(如表达量为 0)远离真实数据分布,会导致插值路径穿过模型完全未学过的区域。常用做法是取训练集均值或参考样本均值。基线不同,归因结果可能显著不同——就像“从清水开始记录”和“从鸡汤开始记录”,得到的调料贡献完全不同。

为何常见:初学 IG 的教程常以零向量举例,让人误以为基线无关紧要。

误区两种方法都是给特征打分,跑出来的数值应该差不多,选一个用就行。

正解SHAP 基于合作博弈的 Shapley 值(所有特征子集的边际贡献平均),IG 基于单一直线路径的梯度积分。它们满足的公理不同、解释路径不同,结果可能不同——通常方向一致但数值有差异。在深度模型上 IG 更快,在树模型上 TreeSHAP 有精确解。

为何常见:看到两者输出都是“每个特征一个数”,下意识认为它们是同一算法的两种实现。

误区给模型做完 SHAP/IG,得到一个排序表就算“可解释了”。

正解可解释性还包括局部解释(这个样本为什么这样判)、边界行为(什么条件下决策翻转)、反事实解释(哪些特征改多少能改变结果)等。SHAP 力图和 IG 路径也只覆盖其中一部分。完整的多组学解释报告,应当结合全局、局部、反事实等多个视角。

为何常见:工程上最常用的是全局排序图,让初学者误以为那就是解释的全部。

面试题

Q1. Shapley值的核心思想是什么?

单选题 · easy

  • A.按特征出现先后顺序分配贡献
  • B.对所有合作组合求边际贡献平均← 正确答案
  • C.只计算单特征的独立效应
  • D.用梯度大小代表特征贡献

答案:B。Shapley 值遍历所有特征子集,对“加入特征 i 后的边际提升”加权求平均,保证贡献分配的公平性。A 是错误直觉,C 忽略了特征交互,D 是梯度类方法的思路而非 Shapley 值。

Q2. SHAP值 φᵢ=0 代表什么?

单选题 · mid

  • A.特征不在模型中使用
  • B.综合平均后无任何边际贡献← 正确答案
  • C.特征与预测结果负相关
  • D.模型预测发生了错误

答案:B。φᵢ=0 意味着在考虑所有合作组合后,特征 i 的边际贡献平均为零——既不推动也不抑制输出,而不是说它没有被使用。C 只描述了负相关情形,D 与归因值无关。

Q3. 多组学数据中 IG 的基线通常如何选取?

单选题 · mid

  • A.全零向量(所有组学值取 0)
  • B.训练集各特征的均值向量← 正确答案
  • C.每次随机生成一个噪声向量
  • D.直接使用当前测试样本本身

答案:B。均值向量代表“无信号”的典型状态,最接近组学数据的真实分布。全零向量的表达量在生物学上几乎不存在,会导致插值路径失真;随机噪声不稳定;用当前样本作基线则归因恒为零。

Q4. 关于 SHAP 的应用,下列说法正确的有哪些?

多选题 · mid

  • A.可生成全局特征重要性排序← 正确答案
  • B.可绘制单个样本的力图← 正确答案
  • C.可直接推断特征与疾病的因果关系
  • D.可辅助发现批次效应等模型伪影← 正确答案

答案:ABD。SHAP 能做全局排序、局部力图,也能通过依赖图等技术特征定位批次伪影。但 SHAP 描述的是相关性而非因果性,不能直接用于因果推断,所以 C 错误。

Q5. Integrated Gradients 满足哪两条核心公理?

单选题 · hard

  • A.对称性与线性性
  • B.完整性与敏感性← 正确答案
  • C.有效性与虚拟性
  • D.单调性与连续性

答案:B。IG 的核心公理是“完整性”(所有特征归因之和精确等于模型输出相对基线的差值)和“敏感性”(对路径上有影响的特征赋予非零归因)。A 是正则化性质,C 是 Shapley 值相关公理,D 与 IG 无直接关系。

Q6. 多组学数据包含以下哪些类型?

多选题 · easy

  • A.基因组 DNA 变异数据← 正确答案
  • B.转录组 RNA 表达数据← 正确答案
  • C.蛋白组蛋白丰度数据← 正确答案
  • D.社交网络互动数据

答案:ABC。多组学指生命分子层次的多种数据类型:基因组、转录组、蛋白组、代谢组等。D 属于行为数据而非分子组学数据,不属于多组学范畴。

Q7. 高维小样本给可解释性带来的主要挑战是什么?

单选题 · mid

  • A.模型根本无法完成训练
  • B.特征相关性强导致归因不稳定← 正确答案
  • C.样本过多使解释文本过于冗长
  • D.模型简单到不需要任何解释

答案:B。特征数远大于样本数,特征间高度相关时,SHAP/IG 的归因在不同相关特征之间可能剧烈波动,解释结论对微小扰动敏感。A 太绝对,深度学习仍可训练;C、D 与现象不符。

Q8. 关于 SHAP 与 IG 的区别,正确的描述有哪些?

多选题 · hard

  • A.SHAP 基于合作博弈的边际贡献平均← 正确答案
  • B.IG 沿单一线性路径累积梯度← 正确答案
  • C.SHAP 在深度模型上一定比 IG 慢
  • D.两者的数值结果一定完全相同

答案:AB。SHAP 的核心是特征子集合作博弈,IG 的核心是路径梯度积分。C 说法过于绝对——存在 GradientSHAP 等近似算法;D 错误,两者公理体系和路径假设不同,数值结果通常有差异。

Q9. “归因完整性”公理指的是什么?

单选题 · easy

  • A.所有特征归因之和等于模型输出与基线输出之差← 正确答案
  • B.所有特征归因之和恒等于 1
  • C.归因能解释模型全部的预测方差
  • D.特征重要性排序在任何数据上都稳定

答案:A。完整性要求归因总和精确还原模型输出相对基线的偏移——相当于“所有功劳加起来正好等于总功劳”。这是 IG 的核心性质,也是检验归因方法是否合理的重要标尺。

Q10. 当模型在训练分布外数据上做预测时,SHAP/IG 的归因应如何对待?

单选题 · hard

  • A.完全可信无需额外审查
  • B.谨慎对待,结果可能失真← 正确答案
  • C.归因结果必然全部为零
  • D.比分布内结果更加准确

答案:B。可解释性描述的是模型在已学数据空间中的行为。OOD 样本的插值路径会穿越模型从未见过的区域,梯度信息失去意义,归因可能严重失真。因此工程师必须对分布外样本的解释保持警惕。