想象一位老练的侦探带着助手查案。嫌疑人有两个：A 和 B，真凶只有一个。侦探提交了一份「解释」——他的推理报告。有的侦探写的是「A 在案发当天出现在本市、A 会开车、A 有手有脚」，这些陈述句句属实，却几乎可以套在任何嫌疑人身上。真正的破案报告应当指出：「A 的指纹与凶器吻合，而 B 在案发时正被监控拍到在千里之外」。前者是通用套话，后者才是能区分嫌疑人的关键证据。判断解释好坏的标准，就是看它能否把「为什么是 A 而不是 B」讲清楚——这正是本文的主角：解释对比性评估。在可解释 AI 中，模型每做出一个判断，也会交出一份「推理报告」，即解释。对比性评估不去孤立地赞美某份解释有多详尽，而是把它放在类别与样本的对照台面上，检验它是否真的贴着模型的决策边界，而不是在罗列所有样本共有的统计规律。

岗位关联

掌握对比性评估，你就能识别「听起来都对、实则没用」的伪装解释，在模型审计、安全对齐与可信部署中守住解释质量的最后一道防线。

目录
  1. 可视化演示
  2. 对比评估概念
  3. 类间可分性
  4. 解释一致性
  5. 决策边界贴合
  6. 全局特征陷阱
  7. 评估方法工具
  8. 应用与前沿
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示对比性评估三维度：类间可分性（不同类别归因分布分离度）、类内一致性vs类间对比性（同类相似异类差异）、量化指标（分离度一致性对比度三指标对比），理解解释质量进阶评估方法。

本节配有交互动效（进入视口后自动加载，约 3KB）。

类间可分性评估 类别A归因分布 类别B归因分布 sep = dist(A,B) 不同类别的解释应在归因空间中充分分离，反映决策边界差异。

对比评估概念

老侦探训斥新助手：「你说嫌疑人有手有脚、会吃会睡，这算什么推理？我要的是你指出甲和乙到底哪里不一样！」一份解释只有放在两个类别的对照中，才能显出它的价值。单独看任何一句话都可能是对的，但在破案语境里，只有能区分嫌疑人的话才叫证据。

在可解释 AI 中，解释是模型对某个决策给出的归因说明，比如图像里哪个区域让它判定为「猫」。对比性评估把眼光从单个样本移开，专门检查：解释能否清晰区分模型对不同类别或不同样本的决策依据差异。

形式上，对一个输入 \(x\) 及其预测类别 \(\hat{y}\)，我们把它与其他每个类别 \(c\) 的条件归因 \(\phi(x, c)\) 逐类对比，差异越大，说明解释越有判别力：

就像侦探必须逐个嫌疑人对质——「为什么是他不是她」——对比评估强制解释在类别间「对质」，凡是只会在单一样本上自说自话的解释，都过不了这一关。

CEval(x)=1C−1∑c≠y^∥ϕ(x,y^)−ϕ(x,c)∥2\displaystyle \text{CEval}(x) = \frac{1}{C - 1}\sum_{c \neq \hat{y}} \left\| \phi(x, \hat{y}) - \phi(x, c) \right\|_2
这个得分衡量：解释在「为什么是这一个类别」上的证据，与「为什么不是其他类别」上的证据，差异有多大。
  1. 输入样本\(x\) 是模型做决策的输入，\(\hat{y}\) 是模型给出的预测类别。
    y^=arg⁡max⁡cfc(x)\displaystyle \hat{y} = \arg\max_c f_c(x)
  2. 类别条件归因\(\phi(x, c)\) 表示在目标类别为 \(c\) 时，模型归因到 \(x\) 各特征的贡献向量。
    ϕ(x,c)=(ϕ1(x,c),ϕ2(x,c),…,ϕd(x,c))\displaystyle \phi(x, c) = \left( \phi_1(x,c), \phi_2(x,c), \ldots, \phi_d(x,c) \right)
  3. 对照类别遍历对除预测类别外的每个类别 \(c\) 分别求差异。
    c∈{1,…,C}∖{y^}\displaystyle c \in \{1, \ldots, C\} \setminus \{\hat{y}\}
  4. 取范数与平均用 L2 范数度量两个归因向量的差异，再对全部对照类别取平均。
    ∥⋅∥2=∑j=1d(ϕj(x,y^)−ϕj(x,c))2\displaystyle \left\| \cdot \right\|_2 = \sqrt{\sum_{j=1}^{d} \left( \phi_j(x,\hat{y}) - \phi_j(x,c) \right)^2}

类间可分性

案子有两个嫌疑人：老王爱穿红鞋，老李爱穿蓝鞋。侦探写「两人都穿鞋」，这是废话；写「鞋印尺码与老王吻合，老李鞋码不符」，才是证据。解释的类间可分性正是这样一把尺子。

类间可分性（inter-class separability）量化两个类别的解释向量之间的差异。差异越大，解释越能说明模型为什么把样本判给 \(c_a\) 而不是 \(c_b\)；差异趋近于零，则解释对两个类别一视同仁，毫无判别价值。

常用 L1 距离来汇总每个特征上的归因差异：

「鞋印尺码」与「鞋码不符」分属两个类别，差异一目了然；可分性就是把这句人话翻译成机器可计算的数字，让解释的判别力变得可以审计、可以比较。

Sep(x,ca,cb)=∑j=1d∣ϕj(x,ca)−ϕj(x,cb)∣\displaystyle \text{Sep}(x, c_a, c_b) = \sum_{j=1}^{d} \left| \phi_j(x, c_a) - \phi_j(x, c_b) \right|
通俗地说，就是逐特征比较两类解释的「用词差异」——差得越多，解释越有区分力。
  1. 归因分量\(\phi_j(x, c)\) 是第 \(j\) 个特征对类别 \(c\) 决策的贡献值。
    ϕj(x,c)∈R,j=1,…,d\displaystyle \phi_j(x, c) \in \mathbb{R}, \quad j = 1, \ldots, d
  2. 类别对\(c_a\) 与 \(c_b\) 是任意两个不同的类别，构成对照。
    ca≠cb\displaystyle c_a \neq c_b
  3. 绝对值逐维求差每个特征上取差的绝对值，防止正负相互抵消。
    ∣ϕj(x,ca)−ϕj(x,cb)∣\displaystyle \left| \phi_j(x, c_a) - \phi_j(x, c_b) \right|
  4. 加总所有维度把 \(d\) 个特征的差异相加，得到类间可分离得分。
    Sep=∑j=1d∣⋅∣\displaystyle \text{Sep} = \sum_{j=1}^{d} \left| \cdot \right|

解释一致性

侦探如果对十个案情相似的老王案给出十套完全不同的说辞，法官会怀疑他在瞎编。好的证据链应当稳定：同一类案件，理由应该大致相同，否则所谓规律只是运气。

解释一致性（consistency）要求：同一类别内的不同样本，其解释应彼此相似。可分性管「类与类之间拉开差距」，一致性管「类内部别乱抖」。两者缺一不可，否则高可分性只是噪声的大起大落。

对类别 \(c\) 中的 \(m\) 个样本，两两计算解释的相似度并取平均：

十个相似案件、十份雷同证词，才说明侦探手里有规律可循；一致性检验的正是这种「可复现的规律」，而非灵光一现的巧合。

Con(Sc)=2m(m−1)∑1≤i<j≤mSim(ϕ(xi),ϕ(xj)),m=∣Sc∣\displaystyle \text{Con}(S_c) = \frac{2}{m(m-1)} \sum_{1 \le i < j \le m} \text{Sim}\left( \phi(x_i), \phi(x_j) \right), \quad m = |S_c|
如果同类样本的解释两两都高度相似，说明解释抓到了类别共同的判别依据，而不是个别样本的巧合。
  1. 同类样本集\(S_c\) 是类别 \(c\) 的 \(m\) 个样本组成的集合。
    Sc={x1,…,xm},xi∈类别 c\displaystyle S_c = \{ x_1, \ldots, x_m \}, \quad x_i \in \text{类别 } c
  2. 两两组合对 \(i < j\) 的所有样本对计算解释相似度，共有 \(\binom{m}{2}\) 对。
    (m2)=m(m−1)2\displaystyle \binom{m}{2} = \frac{m(m-1)}{2}
  3. 相似度函数\(\text{Sim}\) 常用余弦相似度或皮尔逊相关系数，取值越大越相似。
    Sim(ϕi,ϕj)=ϕi⋅ϕj∥ϕi∥2 ∥ϕj∥2\displaystyle \text{Sim}(\phi_i, \phi_j) = \frac{\phi_i \cdot \phi_j}{\|\phi_i\|_2 \, \|\phi_j\|_2}
  4. 取平均平均相似度越高，类内一致性越好，解释越稳定。
    Con=2m(m−1)∑i<jSim(⋅,⋅)\displaystyle \text{Con} = \frac{2}{m(m-1)} \sum_{i<j} \text{Sim}(\cdot, \cdot)

决策边界贴合

侦探不仅要知道证据指向谁，还要知道「有罪」与「无罪」的那条线画在哪里。证据若是绕着边界打转，说明他根本没碰到问题的核心。

模型的决策边界是输入空间中决策翻转的临界面。一个高质量的解释，其归因方向应当与损失函数关于输入的梯度方向一致——因为梯度处处垂直于决策边界，指向决策变化最快的方向。

用两个向量的余弦相似度度量贴合程度：

好侦探会精确描述「再往下一步就越界」的那个临界动作；贴合度检验的就是解释有没有把这个临界方向指对，而不是指着一片与边界平行的远处空谈。

Fid(x)=cos⁡(ϕ(x), ∇xℓ(f(x),y))=ϕ(x)⋅∇xℓ∥ϕ(x)∥2 ∥∇xℓ∥2\displaystyle \text{Fid}(x) = \cos\left( \phi(x),\, \nabla_x \ell(f(x), y) \right) = \frac{\phi(x) \cdot \nabla_x \ell}{\|\phi(x)\|_2 \, \|\nabla_x \ell\|_2}
贴合度越接近 1，解释越沿着「轻轻一推就翻案」的方向，说明它描述的正是模型真正的决策命门。
  1. 损失梯度\(\nabla_x \ell\) 是损失函数对输入的梯度，指向决策变化最快的方向。
    ∇xℓ(f(x),y)=(∂ℓ∂x1,…,∂ℓ∂xd)\displaystyle \nabla_x \ell(f(x), y) = \left( \frac{\partial \ell}{\partial x_1}, \ldots, \frac{\partial \ell}{\partial x_d} \right)
  2. 余弦相似度衡量解释向量与梯度方向夹角的大小。
    cos⁡θ=a⋅b∥a∥2 ∥b∥2\displaystyle \cos\theta = \frac{a \cdot b}{\|a\|_2 \, \|b\|_2}
  3. 几何含义夹角越小，余弦越接近 1，解释与边界法向对齐。
    θ→0⇒cos⁡θ→1\displaystyle \theta \to 0 \quad \Rightarrow \quad \cos\theta \to 1
  4. 与可分性互补可分性看类间差异，贴合度看边界方向，二者共同保证解释的方向正确。
    Sep↑ 且 Fid↑\displaystyle \text{Sep} \uparrow \ \text{且} \ \text{Fid} \uparrow

全局特征陷阱

「所有嫌疑人都会呼吸、都要吃饭」——句句属实，却对破案毫无贡献。这就像解释学里的「正确的废话」：它复述的是全人类共有的统计规律，而不是某个样本特异的判别证据。

当解释与全体样本的平均归因高度相关时，它很可能只是把数据集的全局统计模式重新念了一遍。这种现象称为全局特征陷阱：解释在人眼看来「合理」，却完全无法回答「为什么是这个样本被判成这个类」。

计算单样本解释与全局平均归因的相关性：

侦探若靠「人都会呼吸」来定罪，就是把全人类都当成了嫌疑人；全局特征陷阱正是这种「以共性冒充个性」的解释病，它在单样本上极具迷惑性，却经不起跨类别的对质。

Gen(x)=Corr(ϕ(x), ϕˉ),ϕˉ=1N∑i=1Nϕ(xi)\displaystyle \text{Gen}(x) = \text{Corr}\left( \phi(x),\, \bar{\phi} \right), \qquad \bar{\phi} = \frac{1}{N} \sum_{i=1}^{N} \phi(x_i)
Gen 越高，说明这份解释越像「人人都适用的套话」，对比性评估应把它作为惩罚项。
  1. 全局平均归因对所有样本的解释取平均，代表数据集的共性模式。
    ϕˉ=1N∑i=1Nϕ(xi)\displaystyle \bar{\phi} = \frac{1}{N} \sum_{i=1}^{N} \phi(x_i)
  2. 皮尔逊相关衡量样本解释与全局模式在数值上的线性同步程度。
    r=∑j(ϕj−ϕˉ)(ϕˉj−ϕˉˉ)∑j(ϕj−ϕˉ)2∑j(ϕˉj−ϕˉˉ)2\displaystyle r = \frac{\sum_j (\phi_j - \bar{\phi})(\bar{\phi}_j - \bar{\bar{\phi}})}{\sqrt{\sum_j (\phi_j - \bar{\phi})^2} \sqrt{\sum_j (\bar{\phi}_j - \bar{\bar{\phi}})^2}}
  3. 高相关含义解释主要由全局统计驱动，而不是样本特异的判别证据。
    Gen(x)→1⇒解释 = 通用套话\displaystyle \text{Gen}(x) \to 1 \quad \Rightarrow \quad \text{解释 = 通用套话}
  4. 评估角色在综合评分中作为惩罚项，Gen 越大得分越低。
    Score=⋯−γ⋅Gen\displaystyle \text{Score} = \cdots - \gamma \cdot \text{Gen}

评估方法工具

侦探事务所制定验收标准：光说「证据多」不算数，还要看证据可分、稳定、贴边、不套话。于是他们把若干个指标放进一张评分表，让「好侦探」变成可量化的分数。

实践中的对比性评估把前几节的指标整合成一个综合分数，并配上扰动验证、可视化对比等手段。综合评分的一般形式：

配套工具还包括：扰动验证——删除解释中权重最高的特征，若决策翻转则解释抓住了关键证据；可视化对比——把两个类别的类激活图并排展示，让差异区域一目了然。评分表让「好侦探」不再停留在口头评价，而成为可比较、可复现的工程标准。

Score=α⋅Sep+β⋅Con+η⋅Fid−γ⋅Gen\displaystyle \text{Score} = \alpha \cdot \text{Sep} + \beta \cdot \text{Con} + \eta \cdot \text{Fid} - \gamma \cdot \text{Gen}
正向项奖励「类间可分、类内一致、贴合边界」，惩罚项打击「全局套话」，权重按任务调参。
  1. 权重参数\(\alpha, \beta, \eta, \gamma\) 是各指标的权重，均为正数，\(\gamma\) 前取负号表示惩罚。
    α,β,η,γ>0\displaystyle \alpha, \beta, \eta, \gamma > 0
  2. 正向项Sep、Con、Fid 越大越好，分别约束解释的判别力、稳定性与方向正确性。
    Sep↑, Con↑, Fid↑\displaystyle \text{Sep} \uparrow, \ \text{Con} \uparrow, \ \text{Fid} \uparrow
  3. 惩罚项Gen 越大说明越像全局套话，扣分越多。
    −γ⋅Gen惩罚强度随 Gen 增大而增大\displaystyle -\gamma \cdot \text{Gen} \quad \text{惩罚强度随 Gen 增大而增大}
  4. 综合应用得分用于模型审计的门槛判断，也可在训练中作为正则项优化解释质量。
    Score≥τ⇒解释通过审计\displaystyle \text{Score} \ge \tau \quad \Rightarrow \quad \text{解释通过审计}

应用与前沿

侦探方法论不止用来破个案，还用于防止冤案、优化团队、探索新型证据。对比性评估在前沿同样承担着三重使命。

在安全对齐中，大模型对有害请求给出拒绝，这份拒绝也需要解释。对比性评估要验证：拒绝解释对有害、无害两类输入的归因是否显著不同，否则模型只是在背通用模板，存在对齐漏洞。在模型调试中，对比解释能暴露模型依赖的捷径特征。在反事实方向，解释从「最小改动翻转决策」的角度反推边界：

「要是当时他没在那个时间出现在现场呢？」反事实疑问让侦探从另一个世界反推真相。AI 的对比评估也正沿着这个方向越走越深，成为可解释 AI 与安全对齐研究中最有活力的前沿之一。

CF(x)=min⁡x′∥x′−x∥1,s.t.f(x′)≠f(x)\displaystyle \text{CF}(x) = \min_{x'} \left\| x' - x \right\|_1, \quad \text{s.t.} \quad f(x') \neq f(x)
反事实样本和原样本只差一点点，却让决策翻转——这一小撮被改动的特征，正是解释最应该聚焦的对比证据。
  1. 反事实样本\(x'\) 是候选的对抗式改版，它与 \(x\) 极像但决策不同。
    f(x′)≠f(x)\displaystyle f(x') \neq f(x)
  2. 最小化改动在所有满足翻转条件的 \(x'\) 中挑改动量最小的。
    min⁡x′∥x′−x∥1\displaystyle \min_{x'} \left\| x' - x \right\|_1
  3. L1 稀疏性L1 范数鼓励只改变少量特征，符合人类「关键改动」的直觉。
    ∥x′−x∥1=∑j∣xj′−xj∣\displaystyle \| x' - x \|_1 = \sum_{j} |x'_j - x_j|
  4. 对比价值被改动的特征就是模型决策的命门，成为对比评估的天然素材。
    被改动特征集={j:xj′≠xj}\displaystyle \text{被改动特征集} = \{ j : x'_j \neq x_j \}

AI 应用场景

大模型安全对齐审查

阶段：安全评估与对齐训练

解决的问题：传统方式靠人工抽查安全回答，效率低且无法批量判断「拒绝理由」是否真实。对比性评估自动对比模型对有害、无害两类输入的解释差异，若二者归因几乎相同，说明拒绝机制在走通用模板，存在对齐漏洞。

具体案例：某大模型的安全系统对「如何制作炸弹」与「如何做蛋糕」都给出「该请求涉及危险内容」式拒绝，且归因解释高度相似。用对比性评估计算两类解释的可分性得分极低，触发告警。安全团队据此改进分类器，使拒绝理由真正聚焦风险特征，并通过红队测试。

医疗影像辅助诊断的模型调试

阶段：模型验证与迭代

解决的问题：医生不信任「黑箱」，传统仅报告准确率无法回答「模型凭什么区分良恶性」。对比性评估把恶性样本的解释与良性样本的解释并列，找出模型实际依赖的判别特征，暴露水印、扫描仪型号等捷径。

具体案例：病理切片模型对「恶性」与「良性」的解释高亮区域高度重叠，集中在染色背景而非细胞核形态。对比性评估得分低，团队定位到数据泄漏，重新采集数据后解释可分性显著提升，并通过了临床评审。

推荐系统解释可信度评估

阶段：线上效果评估与归因分析

解决的问题：传统点击率评估只能说明模型准，不能说明「推荐理由」是否真实。对比性评估对比用户对「悬疑片」与「爱情片」两类偏好的解释归因，检验推荐话术是否在区分真实兴趣。

具体案例：视频平台给用户推荐新剧时附上「因为您喜欢悬疑」的说明。对比性评估发现该解释与「因为您是会员」的全局特征相关度过高，属于通用套话。平台据此优化推荐理由生成，解释的类间可分性大幅提升，用户信任度也随之上升。

Python 演示

python49 行
# -*- coding: utf-8 -*-"""对比性评估演示: 检验解释能否区分模型对不同类别的决策依据"""import numpy as npfrom sklearn.datasets import make_classificationfrom sklearn.linear_model import LogisticRegression np.random.seed(42)X, y = make_classification(n_samples=200, n_features=5, n_informative=2,                           n_redundant=2, n_clusters_per_class=1, class_sep=1.2)model = LogisticRegression(max_iter=1000)model.fit(X, y)w = model.coef_.ravel() def sample_attrs(Xc):    """该类样本的逐样本特征归因 = 模型系数 * 特征值"""    return Xc * w def class_mean_attr(c):    return sample_attrs(X[y == c]).mean(axis=0) def pairwise_corr(Xc):    A = sample_attrs(Xc)    if A.shape[0] < 2 or np.any(A.std(axis=1) < 1e-9):        return 0.0    R = np.corrcoef(A)    return R[np.triu_indices(A.shape[0], k=1)].mean() phi0 = class_mean_attr(0)phi1 = class_mean_attr(1)sep = float(np.abs(phi0 - phi1).sum())con = float(np.mean([pairwise_corr(X[y == c]) for c in range(2)]))big_phi = sample_attrs(X).mean(axis=0)gen = abs(float(np.corrcoef(phi1, big_phi)[0, 1])) score = 0.5 * sep + 0.3 * con - 0.2 * genprint("类间可分性 Sep =", round(sep, 3))print("解释一致性 Con =", round(con, 3))print("全局模式相关 Gen =", round(gen, 3))print("综合对比评分 =", round(score, 3)) order = np.argsort(-np.abs(phi1 - phi0))keep_c = int(order[0])keep_g = int(order[-1])Xc = np.delete(X, keep_c, axis=1)Xg = np.delete(X, keep_g, axis=1)mc = LogisticRegression(max_iter=1000).fit(Xc, y)mg = LogisticRegression(max_iter=1000).fit(Xg, y)print("剔除可分性最强特征后准确率 =", round(mc.score(Xc, y), 3))print("剔除可分性最弱特征后准确率 =", round(mg.score(Xg, y), 3))
目的：用逻辑回归在合成数据上实现「类间可分性、类内一致性、全局模式相关」三个对比评估指标，并验证判别力强的特征确实决定模型表现。
  1. X, y = make_classification(...)生成带 2 个判别特征和 2 个冗余特征的两类合成数据，充当「案件卷宗」。
  2. model.fit(X, y)训练逻辑回归分类器，它就是我们的「侦探」。
  3. def sample_attrs(Xc): return Xc * w用「系数 × 特征值」近似每个样本的特征归因，即证据链的量化形式。
  4. sep = float(np.abs(phi0 - phi1).sum())计算两个类别平均归因的 L1 距离，即类间可分性。
  5. def pairwise_corr(Xc): ...同类样本两两归因的相关系数均值，即类内一致性。
  6. gen = abs(float(np.corrcoef(phi1, big_phi)[0, 1]))类别平均归因与全局平均归因的相关度，捕捉「全局套话」程度。
  7. score = 0.5 * sep + 0.3 * con - 0.2 * gen综合评分：奖励可分与稳定，惩罚全局模式。
  8. order = np.argsort(-np.abs(phi1 - phi0))按可分性给特征排序，定位判别力最强与最弱的特征。
  9. mc = LogisticRegression(max_iter=1000).fit(Xc, y)剔除判别力最强的特征后重新训练，观察准确率是否暴跌。

常见误区

误区我一开始以为解释要是把所有特征都列出来，最好每个特征都附上重要性数字，这样才显得完整可信。

正解侦探报告写「嫌疑人都会呼吸、都要吃饭」再长也没有价值。对比性评估要求解释聚焦于能够区分该类与另一类的特征；特征罗列得越全，越可能包含大量两类共有的全局统计模式，反而稀释了判别信息。评价解释的首要标准是判别力，而非篇幅。

为何常见：人类经验中「证据越多越好」的直觉，与「判别信息才有价值」的评估视角相冲突，初学者最容易把详尽当深度。

误区我总觉得只要把某个样本的归因图画出来，高亮区域符合常识，这份解释就可信。

正解单个样本的解释可能是「事后编故事」——模型可以从海量无关特征中挑几个凑出合理叙事。只有把不同类别样本的解释放在一起对照，才能看出它是否真的反映决策边界。对比性评估的本质是「对照组思维」，与科学实验同理。

为何常见：人类的叙事直觉让我们容易被单个合理解释说服，而忽略了对照检验这个最关键的步骤。

误区我认为只要两个类别的解释向量差异足够大，解释质量就一定好。

正解可分性高但类内一致性差时，高可分性可能只是噪声在抖动。真正的对比性评估要求「类内紧凑、类间分离」同时成立，就像侦探对同一类案件的证据链要稳定，才能证明规律确实存在，而不是运气。

为何常见：只盯着一个指标，忽视了评估需要多维组合；单一指标越高越容易让人产生虚假的安全感。

误区我以为是拿两个模型的准确率对比，准确率高的模型解释自然就好。

正解对比性评估比较的是解释本身，而非模型性能。一个高准确率模型如果靠的是捷径特征，其解释可能无法区分真正的类别差异；反之，准确率一般但解释判别性强的模型反而更可信。解释质量与模型性能是两个正交维度。

为何常见：把「预测得好」与「解释得好」混为一谈，忽略了模型内部机制与预测结果之间的区别。

面试题

Q1. 解释对比性评估的核心目标是？

单选题 · easy

  • A.提升模型的预测准确率
  • B.解释能否区分决策依据← 正确答案
  • C.减少模型的参数数量
  • D.加快模型的训练速度

答案：B。对比性评估检验解释能否区分模型对不同类别或样本的决策依据差异，就像侦探的证据要能区分嫌疑人。A 讲的是模型性能，C、D 讲的是工程效率，都与解释质量无关。

Q2. 解释是所有样本都共有的统计规律，这属于？

单选题 · easy

  • A.高质量的对比解释
  • B.类间可分性强的解释
  • C.全局特征罗列的陷阱← 正确答案
  • D.贴合决策边界的解释

答案：C。对所有样本都成立的规律是「正确的废话」，正是全局特征陷阱。它看起来合理，却无法回答「为什么是这个样本」。A、B、D 都是好解释的特征，与题干描述相反。

Q3. 类间可分性的计算通常基于？

单选题 · mid

  • A.同类样本的解释相似度
  • B.不同类别解释的差异度← 正确答案
  • C.模型参数的总数量
  • D.训练数据的样本总量

答案：B。可分性量化两个类别解释向量之间的差异，常用 L1 距离逐维求差。A 度量的是类内一致性而非可分性，C、D 与解释内容无关。

Q4. 解释一致性差说明？

单选题 · mid

  • A.同类样本解释不稳定← 正确答案
  • B.模型过拟合较严重
  • C.解释的特征数量太多
  • D.训练数据量明显不足

答案：A。一致性差指同一类别内不同样本的解释彼此差异大，证据链在抖动，可能捕捉的是噪声而非类别共性。B 是模型训练问题，C、D 与解释稳定性没有直接因果。

Q5. 对比性评估中，好的解释应满足？

多选题 · mid

  • A.类间可分性较强← 正确答案
  • B.类内一致性较好← 正确答案
  • C.避免通用统计模式← 正确答案
  • D.所列特征数量越多越好

答案：ABC。好解释要「类间拉开差距、类内保持稳定、远离全局套话」。D 是典型误区，罗列大量两类共有的特征反而稀释判别信息，侦探写「人都会呼吸」再长也没用。

Q6. 决策边界贴合度衡量的是？

单选题 · mid

  • A.解释与模型参数的相关性
  • B.解释沿边界敏感方向的程度← 正确答案
  • C.解释文本的生成流畅度
  • D.模型训练损失的大小

答案：B。贴合度用解释向量与损失梯度的余弦相似度衡量，梯度方向垂直于决策边界、是决策变化最快的方向。A 混淆了参数与输入空间，C、D 与解释机制无关。

Q7. 下列哪些情况说明解释可能沦为全局统计模式？

多选题 · hard

  • A.解释与全局平均归因高度相关← 正确答案
  • B.对任一样本解释都几乎相同← 正确答案
  • C.解释聚焦于类别特有的特征
  • D.解释文本包含大量通用描述← 正确答案

答案：ABD。A 是 Gen 指标的直接定义，B 说明解释没有样本特异性，D 说明在复述通用套话。C 恰好相反，聚焦类别特有特征是好解释的表现，不属于全局统计模式。

Q8. 综合评分中 Gen 项的含义是？

单选题 · hard

  • A.解释与全局平均归因的相关度← 正确答案
  • B.模型在测试集上的泛化误差
  • C.生成对抗网络的判别损失
  • D.解释文本生成的语言困惑度

答案：A。Gen 衡量单样本解释与全体样本平均归因的相关性，越高越像「通用套话」，因此作为惩罚项取负号。B、C、D 分别涉及模型训练、生成模型和语言建模，与对比评估无关。

Q9. 反事实解释在对比评估中的作用是？

单选题 · hard

  • A.最小改动翻转决策，揭示真实边界← 正确答案
  • B.生成更多训练数据来增强模型
  • C.压缩模型以减小部署体积
  • D.提升解释文本的流畅程度

答案：A。反事实找最小改动即翻转决策的样本，被改动的特征正是决策命门，从而揭示真实边界。B 是数据增强，C 是模型压缩，D 是文本质量，均不属于对比评估范畴。

Q10. 对比性评估可应用于哪些场景？

多选题 · easy

  • A.安全对齐审查与模型调试← 正确答案
  • B.医疗影像诊断依据的校验← 正确答案
  • C.推荐系统解释的可信度评估← 正确答案
  • D.提高GPU训练资源的利用率

答案：ABC。对比性评估用于验证解释是否真实反映决策边界，常见于安全对齐、医疗诊断、推荐解释等需要解释可信度的场景。D 是计算资源优化，与解释质量评估无关。