想象你走进两家餐厅。A 店是透明开放式厨房，菜谱贴在玻璃上：盐 3 克、辣椒 10 克、大火 2 分钟，每一道工序都清清楚楚；B 店是黑箱私房菜，厨房上锁，你只能看到端出来的菜和价签。如果菜出了问题，或者你想知道下一道菜是否安全，你会怎么办？对 A 店，你翻菜谱即可；对 B 店，你需要一位美食品鉴师反复试菜，有时夹走一点辣椒、加一点盐，观察味道如何变化，再给你一份“点评”。这个比喻，正是可解释 AI 的核心。本文围绕“内在解释”与“事后解释”的分类展开：一面是模型本身自带透明菜谱，另一面是用品鉴师式的外部工具去还原黑箱决策。你会在文中认识 LIME、SHAP 两位品鉴师的刀法，并学会在真实工程中如何选型、避坑。

岗位关联

掌握内在解释与事后解释的分类，才能在与模型预测同时给出的“理由”面前保持清醒，并把它变成可被审计、可被信任的 AI 产品能力。

目录
  1. 可视化演示
  2. 可解释AI基础
  3. 内在解释模型
  4. 事后解释概论
  5. LIME局部解释
  6. SHAP博弈归因
  7. 全局解释工具
  8. 工程选型实践
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

通过内在vs事后解释对比、LIME局部扰动近似及SHAP Shapley值归因，展示XAI方法体系的核心原理与选型。

本节配有交互动效（进入视口后自动加载，约 3KB）。

可解释AI 加载中

可解释AI基础

当你走进那家透明厨房餐厅，服务员甚至不需要介绍，因为菜谱就写在墙上。可解释 AI 的初心，就是让模型在做决策时，也同时把“菜谱”递给你。它关心一个很朴素的问题：当模型说这张图是猫、这笔贷款应该拒绝时，凭什么？

如果医生、审计员、用户都看不懂模型的理由，再高的准确率也不敢落地。尤其是在金融、医疗以及 AI 安全对抗场景中，一个无法解释的决策，就像一道来路不明的菜：好吃，但你不敢多吃。可解释 AI 因此成为可信 AI 的重要支柱。

从解释来源看，可解释性分为内在解释与事后解释。内在解释是指模型天生透明，比如线性回归和决策树；事后解释是指模型本身是黑箱，我们另请一位“品鉴师”去还原它的行为。从解释范围看，又分为全局解释与局部解释。两两组合，就构成了一张完整的分类地图。

用数学语言看，模型预测可以写作：

而解释则是为目标区域找一个可读的近似：

不管是透明厨房还是外部品鉴师，最终目标都是让模型不再无从问责。理解这张分类图后，我们接下来就逐个认识各类“餐厅”和“品鉴师”。

y=f(x)y = f(x)
g(x)≈f(x)g(x) \approx f(x)
  1. 预测映射$y$ 是预测结果，$x$ 是输入，$f$ 是已经训练好的模型，它把输入变成输出。
    y=f(x)y = f(x)
  2. 可读近似$g$ 是人类能理解的小模型，我们希望它在关心的邻域内接近 $f$，从而用 $g$ 的规则代替 $f$ 的黑箱。
    g(x)≈f(x)g(x) \approx f(x)

内在解释模型

透明厨房的菜谱写在墙上，每种食材和火候都能直接对应到出锅后的味道。机器学习里，这类模型天生自带可解释性，被称为内在可解释模型。最典型的代表是线性回归、决策树、逻辑回归和规则模型。

线性回归是其中最基础的例子。它假设预测值由输入特征加权求和得到：

其中 $w_j$ 就是一道食材的“贡献度”。如果 $w_j$ 是正数，说明第 $j$ 个特征会推动预测值上升；如果是负数，则相反。决策树则把规则写成“如果…那么…”的路径，像一串炒菜步骤；规则模型更像一张纯文字菜谱，逻辑回归则在输出端换成了 sigmoid，权重含义依然可以解释为对数几率的变化。

不过，透明厨房不意味着一定简单。决策树一旦太深、规则一旦太多，菜谱厚到没人读得完，也就不“可解释”了。所以内在可解释是模型结构的属性，不等于用户一定能看懂。需要透明优先时，可以从这些经典模型开始；但复杂任务往往需要黑箱模型加外部品鉴师，这就进入了事后解释。

y=w0+∑j=1pwjxj\displaystyle y = w_0 + \sum_{j=1}^{p} w_j x_j
  1. 截距项$w_0$ 是所有特征都取 0 时的基准预测值，相当于没加任何食材前的底味。
    w0w_0
  2. 加权求和$\displaystyle \sum_{j=1}^{p} w_j x_j$ 把每个特征 $x_j$ 和对应权重 $w_j$ 相乘再累加，形成最终预测。
    ∑j=1pwjxj\displaystyle \sum_{j=1}^{p} w_j x_j
  3. 解释语义$\displaystyle \frac{\partial y}{\partial x_j} = w_j$，即特征 $x_j$ 每增加一个单位，预测值 $y$ 平均变化 $w_j$。
    ∂y∂xj=wj\displaystyle \frac{\partial y}{\partial x_j} = w_j

事后解释概论

黑箱餐厅不会把菜谱交给你，但你可以请一位品鉴师，通过反复“试菜”来还原口味。AI 中的事后解释，就是训练一个可解释的代理模型，去模仿黑箱模型的输出行为。

它不解析模型内部参数，只看输入输出关系，因此适用于任意模型，包括深度神经网络。事后解释通常分成两类：全局代理模型在整个数据空间上模仿黑箱，回答“整体上模型更喜欢什么”；局部代理模型只在你关心的样本附近模仿，回答“为什么这个样本得到这个结果”。LIME 是后者的代表作，SHAP 则是基于博弈论进行公平归因的另一种刀法。

代理模型拟合的数学目标可以写成：

关键点在于：品鉴师的点评是外部观察，不是厨师心里的真实想法。所以事后解释的忠实度必须通过实验去评估，这正是它与内在解释的本质分野。有了这个总纲，下面就来认识 LIME 和 SHAP 两位风格迥异的品鉴师。

g∗=arg⁡min⁡g∈G1m∑i=1m(f(xi)−g(xi))2\displaystyle g^* = \arg\min_{g \in \mathcal{G}} \frac{1}{m} \sum_{i=1}^{m} \left( f(x_i) - g(x_i) \right)^2
  1. 候选代理模型$\mathcal{G}$ 是所有可解释模型的集合，比如线性模型、浅层决策树。
    g∈Gg \in \mathcal{G}
  2. 预测误差$\displaystyle \frac{1}{m} \sum_{i=1}^{m} \left( f(x_i) - g(x_i) \right)^2$ 是代理模型预测与黑箱真实输出的平均平方误差。
    1m∑i=1m(f(xi)−g(xi))2\displaystyle \frac{1}{m} \sum_{i=1}^{m} \left( f(x_i) - g(x_i) \right)^2
  3. 最优解$\arg\min$ 表示从候选集合中挑出误差最小的那个代理模型 $g^*$。
    g∗=arg⁡min⁡g∈G⋯\displaystyle g^* = \arg\min_{g \in \mathcal{G}} \cdots

LIME局部解释

如果说事后解释是一群品鉴师，LIME 就是那位只专注眼前一道菜的“试菜侦探”。它不评价整桌菜，只盯着你询问的某个样本，在这一片很小的“餐桌区域”里做实验。

LIME 的做法是：在待解释样本附近随机扰动输入，生成一批“仿制品”；让黑箱给这些仿制品打分；再用一个线性模型等在局部去拟合这些打分。为了让近处的样本更重要，它引入核权重；为了让解释更简洁，它加入稀疏性惩罚。

数学上，LIME 的优化目标是：

LIME 很适合回答“为什么这个样本被分到这一类”，但它的原理也带来脆弱性：扰动范围、核带宽、样本数都会影响结果。所以 LIME 是快速上手的品鉴师，但在把点评给客户看之前，最好多做几轮试吃，确认结论稳定。

ξ(x)=arg⁡min⁡g∈G∑i=1Nπx(zi)(f(zi)−g(zi′))2+Ω(g)\displaystyle \xi(x) = \arg\min_{g \in G} \sum_{i=1}^{N} \pi_x(z_i) \left( f(z_i) - g(z_i') \right)^2 + \Omega(g)
  1. 扰动样本$z_i$ 是在 $x$ 附近随机生成的样本，$z_i'$ 是它的可解释表示，例如把连续特征映射为是否存在。
    zi,zi′z_i, \quad z_i'
  2. 局部核权重$\pi_x(z_i)$ 衡量 $z_i$ 与待解释样本 $x$ 的接近程度，越靠近权重越大。
    πx(zi)\pi_x(z_i)
  3. 拟合损失$\displaystyle \sum_{i=1}^{N} \pi_x(z_i) \left( f(z_i) - g(z_i') \right)^2$ 让代理模型在局部贴近黑箱输出。
    ∑i=1Nπx(zi)(f(zi)−g(zi′))2\displaystyle \sum_{i=1}^{N} \pi_x(z_i) \left( f(z_i) - g(z_i') \right)^2
  4. 复杂度惩罚$\Omega(g)$ 约束代理模型不要太复杂，从而得到稀疏、可读的解释。
    Ω(g)\Omega(g)

SHAP博弈归因

另一位品鉴师 SHAP 更像一位公平的会计。它把每个特征看成合作出菜的成员，计算每个人对最终味道的边际贡献，并按博弈论原则公平分摊。

Shapley 值来源于合作博弈论。它的核心思想是：把所有特征排列成不同“联盟”，看加入某个特征前后预测变化多少，再对加入顺序取平均。这种分配方式满足可加性、一致性和局部精确性，因此被广泛用于模型可解释性与可信 AI。

SHAP 的计算公式为：

SHAP 在局部给出每个特征的贡献，把所有样本的 SHAP 值平均起来，又可以得到全局特征重要性。这个性质让它既能当单道菜点评师，也能写整家餐厅的年度口味报告。不过，精确计算要遍历所有特征组合，特征很多时计算量很大，工程上常用 TreeSHAP 等近似方法加速。

ϕi=∑S⊆N∖{i}∣S∣! (M−∣S∣−1)!M![fx(S∪{i})−fx(S)]\displaystyle \phi_i = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|! \, (M-|S|-1)!}{M!} \left[ f_x(S \cup \{i\}) - f_x(S) \right]
  1. 特征联盟$S$ 是从不包含特征 $i$ 的全集中取出的一个特征子集，$N \setminus \{i\}$ 表示去掉 $i$ 后的特征全集。
    S⊆N∖{i}S \subseteq N \setminus \{i\}
  2. 边际贡献$f_x(S \cup \{i\}) - f_x(S)$ 表示把特征 $i$ 加进联盟后，模型预测值变化了多少。
    fx(S∪{i})−fx(S)f_x(S \cup \{i\}) - f_x(S)
  3. 排列权重$\displaystyle \frac{|S|! \, (M-|S|-1)!}{M!}$ 对特征加入联盟的所有顺序取平均，保证公平。
    ∣S∣! (M−∣S∣−1)!M!\displaystyle \frac{|S|! \, (M-|S|-1)!}{M!}
  4. 遍历求和对所有可能的联盟 $S$ 求和，得到特征 $i$ 的最终归因值 $\phi_i$。
    ϕi\phi_i

全局解释工具

如果 LIME 和 SHAP 是单道菜点评，那么全局解释工具就是整家餐厅的风格报告。它回答的问题是：整体上，哪些因素决定了预测结果？

常用的全局工具包括三类。第一是特征重要性，把每个特征对预测的平均影响排序；第二是部分依赖图，固定想看的一个特征，将其他特征平均掉，观察预测值如何随它变化；第三是 ALE 曲线，它在处理特征相关性时比部分依赖图更稳健，可以避免“虚假依赖”的干扰。

部分依赖图的数学形式是：

在真实系统中，全局解释和局部解释要搭配使用：先用全局报告发现模型是否依赖了不该依赖的“背景锅”，再对关键样本用 SHAP 做定位，两者互为印证。当然，PDP 在特征强相关时可能失真，这也是为什么我们常说：看一家餐厅的风格，不能只看一道菜。

PDPj(xj)=1n∑i=1nf(xj,x−j(i))\displaystyle \mathrm{PDP}_j(x_j) = \frac{1}{n} \sum_{i=1}^{n} f\left(x_j, x_{-j}^{(i)}\right)
  1. 目标特征$x_j$ 是我们想观察的第 $j$ 个特征，它在横轴上变化。
    xjx_j
  2. 其他特征取值$x_{-j}^{(i)}$ 是第 $i$ 个样本中除了 $j$ 以外的所有特征取值。
    x−j(i)x_{-j}^{(i)}
  3. 平均预测对所有样本取平均，得到 $x_j$ 变化时预测值的平均响应曲线。
    1n∑i=1nf(xj,x−j(i))\displaystyle \frac{1}{n} \sum_{i=1}^{n} f\left(x_j, x_{-j}^{(i)}\right)

工程选型实践

把透明菜谱、品鉴师和年度报告都放进真实厨房后，你还要决定：今晚到底请谁？

选型第一刀看监管和风险。金融、医疗等高合规场景通常要求稳定、可复核的解释，优先选择内在模型；如果必须用深度模型，就应该为每个决策附加 SHAP 报告。第二刀看性能。SHAP、LIME 的采样和枚举都会增加耗时，需要提前做性能预算。第三刀看受众：工程师偏爱全局依赖图和 SHAP 值，普通用户更需要自然语言规则。

在工程上，可以用一个综合分数来权衡解释的质量：

优化策略上，可以使用 TreeSHAP 加速树模型归因，对样本聚类后只解释代表性样本，用交叉验证评估解释稳定性；在 AI 安全对抗场景中，还要额外检查解释是否会被对抗扰动攻击。最终，可解释 AI 不是给模型加滤镜，而是让背后的人能看见、能争论、能负责。透明厨房和品鉴师各有位置，关键是根据菜系、客人和风险，做一个诚实的组合。

Score(g)=Fidelity(g)−λ⋅Ω(g)\displaystyle \mathrm{Score}(g) = \mathrm{Fidelity}(g) - \lambda \cdot \Omega(g)
  1. 忠实度$\mathrm{Fidelity}(g)$ 衡量代理解释与原模型在目标区域的一致性。
    Fidelity(g)\mathrm{Fidelity}(g)
  2. 复杂度惩罚$\Omega(g)$ 惩罚解释模型的复杂程度，促使解释更简短。
    Ω(g)\Omega(g)
  3. 权衡系数$\lambda$ 控制“更忠实”和“更简洁”之间的偏好，越大越倾向简洁。
    λ⋅Ω(g)\lambda \cdot \Omega(g)

AI 应用场景

金融信贷拒贷解释

阶段：模型部署与合规审计阶段

解决的问题：传统风控模型给出“拒绝申请”的结果时，如果只给用户一个分数，既难以通过监管审计，也容易引发投诉。AI 从业者需要用事后解释方法，把黑箱分数翻译成可读的理由。

具体案例：消费金融公司使用梯度提升树模型做信用评分，同时对每个被拒用户计算 SHAP 值。如果某个用户的“收入”特征贡献了最大的负向影响，系统就会自动生成一句话拒绝理由：“您的收入水平对本次审批结果产生了较大负面影响。” 信审团队还会把全量 SHAP 值汇总成全局特征重要性报告，交给合规部门复核是否存在性别、地域等歧视性依赖。

医疗影像辅助诊断

阶段：模型上线前的临床验证阶段

解决的问题：医生不敢直接相信一个黑箱影像模型的结论，因为误诊责任无法由“模型说”来承担。用 LIME 对单张影像的局部区域做解释，可以帮助医生判断模型是否真的在看病灶。

具体案例：在肺结节检测模型中，医生选出一张被判定为“高危”的 CT 影像，系统在疑似病灶附近生成扰动样本，用 LIME 输出局部重要区域。若解释区域稳定地落在真实结节上，医生会更信任模型；若解释区域漂移到扫描床或背景噪声上，模型就会被退回重训。这种流程把事后解释变成了模型上线的质检工具。

AI安全对抗攻防

阶段：模型攻防与鲁棒性测试阶段

解决的问题：对抗攻击会让模型产生错误判断，而普通指标很难发现模型到底依赖了什么“捷径”。全局解释工具可以暴露模型使用的虚假关联，从而指导防御。

具体案例：在狼与哈士奇分类任务中，模型看似准确率很高，但 SHAP 全局归因显示，它主要依赖背景中的雪地像素，而不是动物本身。安全团队发现这个“背景锅”后，用去除背景的数据增强和对抗训练重新训练模型，并再次用 SHAP 验证归因是否落到了目标区域。这就把解释方法用成了 AI 安全体检中的“探针”。

Python 演示

python27 行
import numpy as np def black_box_predict(X):    # A non-linear black box: product, sine and a threshold    return (X[:, 0] * X[:, 1] + np.sin(3.0 * X[:, 0]) > 0.3).astype(float) def local_explain(query, n_samples=200, sigma=0.25):    rng = np.random.default_rng(42)    # Step 1: perturb samples around the query point    Z = rng.normal(0.0, sigma, size=(n_samples, 2)) + query    # Step 2: ask the black box for their labels    labels = black_box_predict(Z)    # Step 3: compute distance weights with an RBF kernel    distances = np.linalg.norm(Z - query, axis=1)    weights = np.exp(-distances ** 2 / (2.0 * sigma ** 2))    # Step 4: fit a weighted linear surrogate model    X = np.column_stack([np.ones(n_samples), Z - query])    W = np.diag(weights)    beta = np.linalg.solve(X.T @ W @ X, X.T @ W @ labels)    return beta if __name__ == "__main__":    query = np.array([0.6, 0.4])    beta = local_explain(query)    print("local intercept:", round(beta[0], 3))    print("feature 1 contribution:", round(beta[1], 3))    print("feature 2 contribution:", round(beta[2], 3))
目的：用 50 行代码实现一个简化版 LIME，对任意黑箱函数在指定样本附近做局部加权线性解释，输出每个特征的贡献值。
  1. Z = rng.normal(0.0, sigma, size=(n_samples, 2)) + query在待解释样本附近撒一批扰动点，相当于品鉴师在菜品周围做小范围试吃。
  2. labels = black_box_predict(Z)让黑箱模型给每个扰动样本打分，得到“菜品味道”的观测值。
  3. weights = np.exp(-distances ** 2 / (2.0 * sigma ** 2))距离越近权重越大，确保局部解释更关注查询点附近。
  4. X = np.column_stack([np.ones(n_samples), Z - query])构造带截距项的局部特征矩阵，方便拟合线性替代模型。
  5. beta = np.linalg.solve(X.T @ W @ X, X.T @ W @ labels)用加权最小二乘法解出局部线性模型的系数，系数大小就是每个特征的解释力度。

常见误区

误区只要用了可解释 AI 工具，就能像打开机箱一样，看到神经网络真正在想什么。

正解内在可解释模型确实自带透明规则，但事后的 SHAP、LIME 只是代理模型，是基于输入输出采样得到的近似解释。它更像品鉴师的点评，而不是厨师心里的真实菜谱；想看“内部”这个概念本身，往往不适用于黑箱模型。

为何常见：“可解释”三个字很容易让人误以为工具会给出模型的真实逻辑，忽视了“事后”只是外部模仿。

误区LIME 和 SHAP 计算出来的归因结果，就是模型真正依赖的证据。

正解这两种方法都依赖扰动、采样和近似，可能不忠实，也可能不稳定。实际项目中必须做稳定性检验和人工抽检，不能直接把归因当成因果证据。

为何常见：工具输出看起来定量、科学，带数字和图表，天然容易产生权威感。

误区只要是树模型，就是白盒，天然可解释。

正解决策树的内在可解释性只在规模小、路径短时成立。几百棵树的随机森林，或者深度很大的单棵树，人类很难读懂。可解释性不仅取决于模型类型，还取决于模型规模和阅读语境。

为何常见：大家把“模型类型”与“可解释性”直接画等号，忽略了可读性取决于复杂度。

误区SHAP 值就是特征重要性，哪个数值大，哪个特征就在整个数据集上更重要。

正解SHAP 值首先给出的是单个预测内每个特征的边际贡献，而且带有正负号。全局重要性只是把全体样本的 SHAP 值平均后的汇总，不能完全替代 PDP、ALE 等全局解释工具。

为何常见：很多机器学习库把 SHAP 的全局汇总和普通特征重要性都画成柱状图，输出长得太像，容易混淆。

误区LIME 是一个确定算法，同一份数据和同一个样本，解释结果每次运行都该完全一致。

正解LIME 依赖随机扰动生成样本。如果不固定随机种子、样本数量不足，解释结果会抖动。生产环境需要固定种子、增大采样量，并做稳定性测试，否则同一个预测可能每次给出不同的答案。

为何常见：第一次看到 LIME 输出时，它看起来像某个确定性函数，忽略了内部随机采样的本质。

面试题

Q1. 内在解释与事后解释的核心区别是什么？

单选题 · easy

  • A.内在解释要求模型本身透明，事后解释用代理模型还原预测← 正确答案
  • B.内在解释只能处理线性模型，事后解释只能处理树模型
  • C.内在解释是全局的，事后解释是局部的
  • D.内在解释不需要数据，事后解释需要标签

答案：A。内在解释依赖模型自身的透明结构，比如线性回归和决策树；事后解释则是在模型训练完成后，另用代理模型去近似黑箱。选项 B、C、D 都犯了以偏概全的错误。

Q2. 下列哪个模型最适合作为内在可解释模型？

单选题 · easy

  • A.深度卷积神经网络
  • B.带 L2 正则的逻辑回归← 正确答案
  • C.集成五百棵树的随机森林
  • D.含三层隐藏层的神经网络

答案：B。逻辑回归的权重可以直接解释为特征对预测的贡献，属于内在可解释模型。深度网络、随机森林和含隐藏层的神经网络通常被视为黑箱模型，虽然它们可以用事后解释工具分析。

Q3. LIME 在解释某个预测时，主要依赖什么思路？

单选题 · mid

  • A.对输入做局部扰动并训练可解释替代模型← 正确答案
  • B.对模型参数做全局梯度下降
  • C.直接读取神经网络每一层权重
  • D.用反事实样本倒推全部训练数据

答案：A。LIME 的 L 是 Local，它通过扰动查询点附近的输入，得到一组观测后，在局部拟合一个简单替代模型。它不读取内部权重，也不依赖全局梯度。

Q4. SHAP 的数值含义是什么？

单选题 · mid

  • A.某特征对当前预测的边际贡献← 正确答案
  • B.模型整体准确率的提升幅度
  • C.数据集中某个主成分的方差
  • D.损失函数关于输入的梯度值

答案：A。SHAP 值来自 Shapley 值，表示在合作博弈中某特征加入联盟后带来的预测变化。它是针对单个预测的边际贡献，不是准确率、方差或梯度。

Q5. 关于事后解释的忠实性，下列说法正确的是？

单选题 · mid

  • A.忠实性一定比内在解释更高
  • B.忠实性需要专门实验来评估← 正确答案
  • C.忠实性与样本数量没有关系
  • D.忠实性越高则模型越复杂

答案：B。事后解释只是代理模型，是否忠实需要专门设计实验来评估。忠实性并不天然高，和样本数量有关，也不一定意味着模型更复杂。

Q6. Shapley 值中权重项的排列作用是什么？

单选题 · hard

  • A.对特征加入联盟的不同顺序取平均← 正确答案
  • B.用来计算模型的梯度大小
  • C.用来调整训练集样本权重
  • D.把连续特征离散化分箱

答案：A。公式中的阶乘权重是为了让每个特征加入联盟时，对所有可能顺序进行公平平均，避免先加入或后加入带来的偏差。它和梯度、训练权重、离散化无关。

Q7. 全局解释和局部解释的区别是什么？

单选题 · easy

  • A.全局看整体规律，局部看单个预测← 正确答案
  • B.全局用于回归，局部用于分类
  • C.全局只能用于线性模型
  • D.局部不需要任何算法

答案：A。全局解释回答“整体上哪些特征重要”，局部解释回答“为什么这个样本得到这个结果”。二者按解释范围划分，与回归分类、线性模型、是否需要算法无关。

Q8. 下列哪些属于事后解释方法？

多选题 · mid

  • A.SHAP← 正确答案
  • B.LIME← 正确答案
  • C.决策树
  • D.线性回归

答案：AB。SHAP 和 LIME 都是对已训练黑箱模型进行外部解释的方法。决策树和线性回归本身是内在可解释模型，不是事后解释方法。

Q9. 关于 LIME 的加权思想，哪些说法正确？

多选题 · hard

  • A.距离查询点越近的扰动样本权重越高← 正确答案
  • B.替代模型在原始特征空间中直接拟合
  • C.稀疏解释由复杂度惩罚项来控制← 正确答案
  • D.扰动样本必须来自原始训练集

答案：AC。LIME 通过核函数 $\pi_x$ 赋予近处样本更高权重，并用 $\Omega(g)$ 控制替代模型的稀疏性。替代模型通常在可解释特征表示中拟合，而不完全等于原始特征空间；扰动样本是生成的，不是必须来自训练集。

Q10. 在 AI 安全场景中，事后解释可能遇到哪些风险？

多选题 · extreme

  • A.解释器可能被对抗扰动攻击导致归因偏移← 正确答案
  • B.高忠实性局部解释可取代真实因果分析
  • C.不同解释方法可能给出不一致的结论← 正确答案
  • D.使用 SHAP 后黑箱模型变成白箱模型

答案：AC。研究表明解释结果本身也可能被对抗样本攻击，且不同解释方法之间结论可能不一致。高忠实性的解释仍然是近似，不能等同于因果分析；SHAP 只是工具，不会改变模型的内部性质。