想象你是一家“AI医院”里的患者。这家医院的医生不是人类,而是一套算法系统。它为你做诊断、开药方、批额度、评绩效,决定你能否贷款、能否入职、该不该提前出院。过去,这家医院是“黑箱”——结论可以给你,但为什么得出这个结论,没人说得清。如今,伦理与监管要求它改变:一要“透明”,把病历、化验单、用药记录全部摊开;二要“可解释”,医生得用你听得懂的话说明白每一项判断的依据。这正是算法透明度与可解释性要解决的问题。本文不堆术语,而是带你走一遍这家“AI医院”的全面改造:先厘清透明与可解释这对易混淆概念,再看四个层面如何实现透明,接着学习LIME、SHAP等“讲人话”的工具,然后讨论公平与责任的伦理基石,了解GDPR、欧盟AI法案等“卫生局”的检查标准,最后建立一套像医院等级评审一样的持续审计机制。

岗位关联

掌握算法透明度与可解释性,是你从“调参侠”走向“负责任的AI工程师”的必修课,它将决定你构建的系统能否通过伦理审查、赢得用户信任,并真正落地上线。

目录
  1. 可视化演示
  2. 透明可解释概念
  3. 透明度原理机制
  4. 可解释性方法
  5. 伦理责任核心
  6. 法规合规要点
  7. 治理审计实践
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示透明度三个层次、LIME与SHAP事后解释方法、可解释性与准确性权衡,点击按钮切换模式。

本节配有交互动效(进入视口后自动加载,约 3KB)。

透明度三个层次 结构透明:模型架构参数对外公开可查 决策透明:单次决策逻辑可追溯解释 3层嵌套 由外到内透明度递增信息量递减

透明可解释概念

想象你第一次走进一家陌生医院做全面体检。拿到一份几十页的体检报告,上面印满了血糖、血脂、尿酸等各项数据——这就是“透明”:信息全都给你了。但你看不懂这些数字意味着什么,直到医生坐下来用大白话告诉你:“你的血糖偏高,但甲状腺功能正常,别担心。”——这才是“可解释”。透明是“把资料摊开”,可解释是“把道理讲清”。

在AI系统里,算法透明度指一条AI决策的所有相关信息可以被查看和获取;可解释性则指这些信息能够被人理解。一个系统可以“透明”却不“可解释”——比如开源模型的所有权重参数都公开了,可对多数人来说那只是几千亿个数字,看不出任何含义;反之,一位老中医能解释“你体寒所以用温补方子”,但配方配伍规则未必公开。透明度偏重“信息的可得性与可审计性”,可解释性偏重“人能不能理解结论的来龙去脉”。

通常把模型分为“白盒”与“黑盒”:决策规则清晰、可直接读出的线性回归、决策树属于白盒;内部逻辑难以直观理解的深度神经网络、大模型属于黑盒。在AI治理中,可解释性越强,越便于人工审查和纠偏,也是伦理合规的基础。为量化评估系统的透明度,业界常用加权透明度指数:

就像医院用“医疗服务质量指数”综合手术成功率、患者满意度、感染率等维度打分一样,透明度指数把AI各环节的“透亮度”合成一个分数,帮助管理者、监管者和公众快速判断这家“AI医院”是否值得信任。

T=∑i=1nwisi∑i=1nwiT = \frac{\displaystyle\sum_{i=1}^{n} w_i s_i}{\displaystyle\sum_{i=1}^{n} w_i}
这个公式把数据、模型、决策、设计等维度的透明度得分加权平均,得到0到1之间的综合透明度指数,分数越高代表越“透明”。
  1. 变量声明定义T为总体透明度指数,s_i是第i个维度的得分(0到1),w_i是该维度的权重,n是维度总数。
    T,si,wi,nT, \quad s_i, \quad w_i, \quad n
  2. 分子加权累加把每个维度的得分乘以其重要程度权重,再全部加起来,得到加权总分。
    ∑i=1nwisi\sum_{i=1}^{n} w_i s_i
  3. 分母权重之和把所有维度的权重累加,用于归一化,消除权重绝对值大小的影响。
    ∑i=1nwi\sum_{i=1}^{n} w_i
  4. 取加权平均分子除以分母,得到0到1之间的综合透明度分数,便于横向比较不同系统。
    T=∑i=1nwisi∑i=1nwiT = \frac{\sum_{i=1}^{n} w_i s_i}{\sum_{i=1}^{n} w_i}

透明度原理机制

一家正规医院里,采血护士要记录抽血时间,化验师要签名并对结果负责,药房发药要扫码核对,医生下诊断要写入电子病历。每个环节都留下完整“足迹”,出了问题便能回溯到具体环节。这正是医院版的“全链路透明”。AI系统的透明度也不是一个单一动作,而是贯穿四个层面的机制。

第一是数据透明:训练数据从哪里来、分布如何、有无偏见,是否公开说明;第二是模型透明:模型架构、参数规模、训练方式是否可查;第三是决策透明:每次预测的关键依据是否可以调阅;第四是设计透明:产品的使用边界、预期受众、已知限制是否讲清。四个层面缺一不可,就像医院要同时公开制度、人员、流程和病历才能接受检查。

业界开始用“模型卡”和“数据卡”来践行四层透明。模型卡像药品说明书,记录模型的用途、性能、公平性测试结果和已知限制;数据卡类似食材溯源清单,记录数据集如何采集、标注、清洗。有了这些,第三方审计者才能像卫生检查员一样拿着清单逐项核对。四层透明度的综合度量可用加权公式表示:

这四个层面就像医院必须公开的“制度、人员、流程、病历”四类信息,哪一处缺失,哪里就是“暗角”。AI系统若想赢得信任,就得把这四个“病历”全部翻开给患者看,不留死角。

Tall=∑k∈{D,M,C,R}αk⋅tkT_{all} = \sum_{k \in \{D,M,C,R\}} \alpha_k \cdot t_k
该公式将数据层(D)、模型层(M)、决策层(C)、设计层(R)四个维度的透明度得分按权重累加,得到整体透明度值。
  1. 指标集合D代表数据层得分、M代表模型层得分、C代表决策层得分、R代表设计层得分。
    {D,M,C,R}\{D, M, C, R\}
  2. 权重系数α_k为第k层的权重,说明该层在整体透明度中的重要性,越关键的层权重越高。
    αk⋅tk\alpha_k \cdot t_k
  3. 总求和四个维度加权累加得到整体透明度值T_all。
    Tall=∑k∈{D,M,C,R}αk⋅tkT_{all} = \sum_{k \in \{D,M,C,R\}} \alpha_k \cdot t_k
  4. 归一化选择若各层满分均为1,T_all范围在0到总权重和之间,除以权重和即可归一化到0~1。
    ∑αktk∑αk\frac{\sum \alpha_k t_k}{\sum \alpha_k}

可解释性方法

遇到复杂病情,好医生绝不会只说一句“你身体机能紊乱”就打发你。他会画一张简图解释血糖代谢,或举例说“就像水管里有杂质导致下游堵塞”,或把各项化验单按影响程度排序,告诉你“甘油三酯最该先处理”。这些做法本质对应了AI可解释性的三大路径。

第一类是内在可解释模型:模型本身透明,决策树可直接读出“如果年龄>60且血压高,则高风险”,线性回归的系数直接表明每个特征的影响方向与强弱。第二类是局部解释工具:用LIME在预测点附近拟合一个简单替代模型,回答“为什么这条记录被判为拒绝”。第三类是全局特征归因:用SHAP量化每个特征对预测的贡献大小,像化验单上标注“此项影响最大”。

LIME(局部可解释模型——不可知解释)很巧妙:它不管黑盒内部多复杂,只在小范围内反复扰动输入、观察输出变化,用线性模型近似局部行为。SHAP则来自博弈论中的Shapley值,把“预测值偏离基准值”的责任按贡献率公平分给每个特征,且满足可加性——各特征贡献之和恰好等于预测值与均值之差:

如果说LIME是医生蹲在患者耳边,用“局部小模型”贴近解答;SHAP就是严肃的会诊委员会,用博弈论方法把“责任”按影响力公平摊给每一位指标,让患者拿到一张清清楚楚的“影响清单”。

SHAPi(x)=∑S⊆N∖{i}∣S∣!(M−∣S∣−1)!M![fx(S∪{i})−fx(S)]\text{SHAP}_i(x) = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!(M - |S| - 1)!}{M!} \left[ f_x(S \cup \{i\}) - f_x(S) \right]
SHAP值为每个特征分配一个贡献值,正数表示该特征推高预测结果,负数表示压低,贡献之和等于模型预测与基准值的差。
  1. 全集与子集设N为全部特征集合,M=|N|为特征总数;S表示不包含特征i的任意特征子集。
    S⊆N∖{i},M=∣N∣S \subseteq N \setminus \{i\}, \quad M = |N|
  2. 预测差值f_x(S∪{i})是已知S中特征再加入特征i时的模型预测,f_x(S)是只有S时的预测,两者之差即特征i在子集S下的边际贡献。
    fx(S∪{i})−fx(S)f_x(S \cup \{i\}) - f_x(S)
  3. 排列权重分母M!是所有特征排列总数,分子|S|!(M-|S|-1)!是保持子集S内部顺序与剩余特征整体顺序的排列数,反映子集出现的概率权重。
    ∣S∣!(M−∣S∣−1)!M!\frac{|S|!(M - |S| - 1)!}{M!}
  4. 加权求和对所有不包含i的子集S做加权求和,即得SHAP_i(x),这是特征i的总贡献。
    SHAPi(x)=∑S⊆N∖{i}∣S∣!(M−∣S∣−1)!M![fx(S∪{i})−fx(S)]\text{SHAP}_i(x) = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!(M - |S| - 1)!}{M!} \left[ f_x(S \cup \{i\}) - f_x(S) \right]

伦理责任核心

医生入职时要宣誓希波克拉底誓言:不伤害病人、公平对待每个患者、尊重隐私。AI行业的“算法伦理”就是AI界的希波克拉底誓言——因为偏见模型会产生系统性伤害,错误预测可能导致错失治疗或误判犯罪风险。伦理责任的内核有四大件:公平、责任、对齐、隐私。

算法公平性关注不同性别、年龄、种族群体是否得到一致对待;责任归属要回答“当模型犯错,算法工程师、数据科学家、产品经理、部署方各自承担什么责任”;价值对齐要求AI目标与人类价值观一致,并通过“红队测试”模拟恶意输入检验底线;隐私保护则要求不以牺牲个人数据为代价换取性能。四者缺一不可,构成负责任的AI的底座。

公平性的检测常用统计均等差异:比较不同敏感属性分组下的正向预测率。若差异过大,就存在偏见。而责任归属常借助“责任矩阵”落实到人:训练方对模型行为负责,部署方对应用场景负责,审计方对发现的问题负责。统计均等差异的计算方式如下:

就像医院绝不会因患者的财富或出身决定是否抢救,算法也不该因用户的性别或地域给出不同待遇。统计均等差异就是医院的“患者满意度对比表”,专门盯住“差别对待”这件事。

ΔDP=P(y^=1∣A=0)−P(y^=1∣A=1)\Delta_{DP} = P(\hat{y}=1 \mid A=0) - P(\hat{y}=1 \mid A=1)
该指标计算两个受保护群体(如不同性别)获得正向预测概率之差,越接近0说明越公平。
  1. 敏感属性A表示敏感属性(如性别、种族),A=1与A=0分别代表两个受保护群体。
    A∈{0,1}A \in \{0, 1\}
  2. 正向概率P(ŷ=1 | A=0)表示在A=0群体中模型给出正向结论的概率,例如“通过贷款”。
    P(y^=1∣A=0)P(\hat{y}=1 \mid A=0)
  3. 组间差异两个群体的正向预测概率之差即为统计均等差异Δ_DP。
    ΔDP=P(y^=1∣A=0)−P(y^=1∣A=1)\Delta_{DP} = P(\hat{y}=1 \mid A=0) - P(\hat{y}=1 \mid A=1)
  4. 判读标准Δ_DP越接近0越好,行业通行经验是绝对值超过0.1便需要公平性补救。
    ∣ΔDP∣≤0.1|\Delta_{DP}| \le 0.1

法规合规要点

医院再自觉,也得听卫生局的。医疗机构必须遵守执业规范、保留处方便于药监部门抽查。AI系统也一样——当它进入招聘、信贷、医疗等关键领域,就成了法律必须紧盯的对象。全球监管浪潮正围绕“透明”与“可解释”层层收紧。

欧盟《通用数据保护条例》(GDPR)第22条赋予公民“不受仅基于自动化决策约束”的权利,并要求自动化决策提供“对决策依据的合理解释”——这就是“解释权”的雏形。2024年生效的欧盟《人工智能法案》进一步把AI应用按风险分为四级:不可接受风险(直接禁止)、高风险(需严格评估与透明义务)、有限风险(需告知交互)、低风险(自愿规范)。中国《生成式人工智能服务管理暂行办法》同样要求服务提供者确保数据合法性、落实安全措施、配合监管检查。

对于高风险AI系统,法案要求建立风险管理体系、使用高质量数据、保留详细技术文档、记录自动日志、引入人类监督,并在部署后持续监测。企业在实践中应建立“合规清单”,对每个AI应用做风险分级并留档。风险分级可借助风险评分模型:

卫生局查医院,先看它属于门诊还是手术室资质;AI监管也先给应用定级——救治用的手术机器人要最严苛审查,推荐视频的个性化引擎只要告知交互即可。企业应当像医院做“执业许可分类”一样,对自己的AI应用逐一体检。

R=P(hazard)×I(impact)R = P(\text{hazard}) \times I(\text{impact})
风险等级由危害发生的概率与后果严重度共同决定,对应欧盟AI法案的四种风险级别。
  1. 风险定义风险R由两个因子决定——危害发生的概率P和危害造成的影响程度I。
    R=P(hazard)×I(impact)R = P(\text{hazard}) \times I(\text{impact})
  2. 概率因子P(hazard)表示模型导致有害结果的概率,可用历史故障率或压力测试估计,范围0到1。
    0≤P(hazard)≤10 \le P(\text{hazard}) \le 1
  3. 影响因子I(impact)表示后果严重度,常用1(轻微)、2(中等)、3(严重)三级评分。
    I(impact)∈{1,2,3}I(\text{impact}) \in \{1, 2, 3\}
  4. 分级阈值R越高风险等级越高,欧盟AI法案按此思路把应用归入不可接受、高风险、有限、低风险四档。
    Rhigh≥thresholdhighR_{\text{high}} \ge \text{threshold}_{\text{high}}

治理审计实践

医院每年接受等级评审:查病历、查操作规范、查感染率,还要随机抽考医生。这一套“外部审计+内部质控”的体系,正是AI治理实践的标准范本。AI模型审计的完整流程可分为三步:数据集审计、模型审计、部署监控。

数据集审计检查训练数据是否有偏见、是否侵权、是否获得授权;模型审计测试公平性指标、做压力测试和对抗攻击;部署监控在模型上线后持续监测性能衰减与数据漂移。核心交付物是“AI透明度报告”——类似医院的年度质控白皮书,公开模型的用途、性能、局限性和已知风险,并提交伦理委员会评审。

持续监控的关键指标之一是群体稳定性指数(PSI),用于检测线上真实数据分布相比训练时的偏移程度。当PSI超过阈值,说明模型面对的“病人群体”变了,必须重新校准或训练。组织层面要建立治理委员会、设计伦理评审流程、划定责任矩阵,使AI从立项到退役始终有人负责。PSI的计算公式:

就像医院的感染率监控一旦超标立即启动干预,PSI就是AI世界的“健康哨兵”。治理不是一次性的盖章检查,而是全年无休的生命体征监测,让AI系统始终保持在可信轨道上。

PSI=∑j=1B(Pjexp−Pjref)⋅ln⁡(PjexpPjref)\text{PSI} = \sum_{j=1}^{B} (P_j^{exp} - P_j^{ref}) \cdot \ln\left(\frac{P_j^{exp}}{P_j^{ref}}\right)
PSI将预测分数分成多个桶,比较线上分布与训练分布在各桶占比的差异,用于监测数据漂移和模型失效。
  1. 分箱把预测分数或特征值分成B个桶(通常B=10),统计每个桶在参考分布(训练时)与期望分布(线上)中的占比。
    Pjref,Pjexp,j=1…BP_j^{ref}, \quad P_j^{exp}, \quad j = 1 \dots B
  2. 差值项两个占比之差(P_j^exp - P_j^ref)表示该桶的漂移大小。
    (Pjexp−Pjref)(P_j^{exp} - P_j^{ref})
  3. 对数项ln(P_j^exp / P_j^ref)用对数比值放大变化,占比相差越大惩罚越强。
    ln⁡(PjexpPjref)\ln\left(\frac{P_j^{exp}}{P_j^{ref}}\right)
  4. 累加求和各桶乘积的总和就是PSI;经验阈值:PSI<0.1稳定,0.1~0.25需关注,>0.25说明显著漂移。
    PSI=∑j=1B(Pjexp−Pjref)⋅ln⁡(PjexpPjref)\text{PSI} = \sum_{j=1}^{B} (P_j^{exp} - P_j^{ref}) \cdot \ln\left(\frac{P_j^{exp}}{P_j^{ref}}\right)

AI 应用场景

信贷风控模型的拒绝解释

阶段:模型部署与监管合规

解决的问题:银行用机器学习模型放贷,若直接拒绝客户申请却不说原因,违反GDPR解释权且伤害客户体验。传统做法只返回一个冷冰冰的“拒绝”。引入可解释性工具后,系统自动生成个人化解释:“您的申请未通过,主要因为负债比率过高(贡献-1.4)和信用记录较短(贡献-0.8),收入水平有正向贡献。”

具体案例:某消费金融公司在客服话术中加入“AI决策解释”模块,每笔被拒申请自动附带三条主要特征的贡献说明,投诉率下降32%,监管抽检通过率大幅提升,客户对结论的认可度上升。

医疗影像辅助诊断的问责追溯

阶段:模型上线后的持续治理

解决的问题:AI辅助诊断系统一旦误诊,责任归属不清是最大痛点。传统黑盒无法回答“为什么对这个病人给出该结论”。AI透明度机制通过决策日志+模型卡+责任矩阵,精准记录“哪个版本模型、用了哪些数据、为什么给出该结论、谁批准上线”。

具体案例:某三甲医院与AI厂商共建“决策追溯系统”:每次AI建议自动记录模型版本、输入特征和置信度;每季度发布透明度报告,由伦理委员会评审。误诊发生后可以快速定位是数据问题、模型问题还是使用问题,责任判定有据可依。

招聘AI的公平性审计

阶段:模型评估阶段

解决的问题:招聘模型可能因历史数据中男性候选人偏多而产生性别偏见。传统做法只调模型不查数据根源。治理实践要求用统计均等差异检测各群体通过率差异,若|Δ_DP|>0.1则触发再训练或后处理纠正。

具体案例:某互联网大厂校招模型审计时发现女性简历通过率比男性低0.16,团队通过重采样与对抗去偏将差异降至0.04,并通过了年度算法审计,避免了一场潜在的歧视诉讼。

Python 演示

python52 行
# -*- coding: utf-8 -*-"""简化版SHAP值计算:暴力枚举全部特征子集."""from math import factorialimport numpy as np  def sigmoid(z):    return 1.0 / (1.0 + np.exp(-z))  def predict_proba(x, w, b):    """模拟一个黑盒模型的预测函数."""    return sigmoid(np.dot(w, x) + b)  def subset_input(x, baseline, mask):    """按掩码将不在子集中的特征替换为基线值."""    return np.array([x[k] if (mask >> k) & 1 else baseline[k]                     for k in range(len(x))])  def shap_brutal(x, model, baseline, w, b):    """用全枚举法计算每个特征的SHAP值."""    M = len(x)    shap = np.zeros(M)    for i in range(M):        total = 0.0        for mask in range(1 << M):            if (mask >> i) & 1:                continue            x_s = subset_input(x, baseline, mask)            x_si = x_s.copy()            x_si[i] = x[i]            s = bin(mask).count("1")            weight = (factorial(s) * factorial(M - s - 1)) / factorial(M)            total += weight * (model(x_si, w, b) - model(x_s, w, b))        shap[i] = total    return shap  if __name__ == "__main__":    # 模拟一个4特征贷款审批模型    w = np.array([0.8, 0.5, -0.6, 0.3])    b = 0.1    baseline = np.array([0.0, 0.0, 0.0, 0.0])    x_sample = np.array([1.2, 0.8, -0.5, 0.3])    shap = shap_brutal(x_sample, predict_proba, baseline, w, b)    pred = predict_proba(x_sample, w, b)    print("样本特征:", x_sample)    print("预测概率:", round(pred, 4))    print("SHAP贡献:", [round(v, 4) for v in shap])    print("贡献和:", round(shap.sum(), 4))
目的:从零实现简化版SHAP值计算,通过暴力枚举全部特征子集,展示每个特征对黑盒模型预测结果的贡献大小,帮助理解可解释性方法的核心原理。
  1. def shap_brutal(x, model, baseline, w, b):定义全枚举SHAP计算函数
  2. for mask in range(1 << M):枚举所有可能的特征子集(2的M次方种)
  3. weight = (factorial(s) * factorial(M - s - 1)) / factorial(M)计算Shapley权重系数
  4. total += weight * (model(x_si, w, b) - model(x_s, w, b))累加边际贡献
  5. shap.sum()验证可加性:各特征贡献之和等于预测值与基准值之差

常见误区

误区模型开源了、权重公开了,就是可解释的。用户能下载所有代码和参数,就应该能理解它为什么这么决策。

正解透明是“信息可获取”,可解释是“人能理解”。一个百亿参数的模型开源了,但人类无法直观理解每个参数的意义;反之,专家系统能解释清楚但规则库可能不公开。透明是必要不充分条件,就像把体检报告原件都给你,不等于你明白每项指标的含义。

为何常见:因为两者都涉及“公开/看得到”,初学者容易把“能看到”等同于“能看懂”。

误区模型效果已经达到99%准确率了,还要解释干嘛?不是脱裤子放屁吗?

正解在医疗、金融、司法等高敏感场景,准确率不能掩盖单个误判的严重后果。监管要求解释权,用户要求知情权,工程调试也需要知道模型为什么出错。准确率解决“做没做对”,解释解决“为什么做”。就像手术成功率99%,剩下的1%也必须有病例讨论。

为何常见:工程思维天然关注性能指标,低估了信任和合规的长期价值。

误区SHAP说收入贡献了1.8,那模型内部一定就是按收入×1.8计算的。

正解LIME和SHAP是“事后解释”,是代理工具,它们近似地描述黑盒行为,不是模型内部机制的真实提取。局部近似在边界处可能失真,不同解释工具甚至可能给出不同结论。就像医生通过观察患者症状推测病因,推测再准也不等于病理切片。

为何常见:把解释工具当成“模型反编译器”,不了解近似统计方法的本质。

误区只要把统计均等差异降到0,AI就完全公平了。

正解公平性是多方位的:个体公平、群体公平、机会均等、校准公平等,不同定义之间可能存在矛盾,不可能同时满足所有公平标准。消除统计差异可能降低模型整体准确率,还可能在新维度引入偏见。公平需要结合具体场景持续评估,而不是盯住一个指标。

为何常见:把复杂的社会公平问题简化成单一数学指标,忽略了公平的多维性。

误区模型审计过了,拿到了透明度报告,以后就不用管了。

正解数据会漂移、环境会变化、使用方式会演变。审计是持续过程:上线后要持续监控PSI等漂移指标,定期重审公平性,更新透明度报告。就像医院每年评审,去年合格不等于今年免检,医疗质量需要全年无休地守护。

为何常见:把治理理解为一次性的“盖章”事件,而非贯穿AI生命周期的持续管理。

面试题

Q1. 算法透明度与可解释性的核心区别是什么?

单选题 · easy

  • A.透明指信息可获取,可解释是人能理解← 正确答案
  • B.透明度就是开源,可解释等于高准确率
  • C.透明与可解释是同一个概念的两种叫法
  • D.透明指数据不缺失,可解释指响应速度快

答案:A。透明关注“信息是否公开可审计”,可解释关注“人能否理解结论的来龙去脉”。就像体检单数据全给你是透明,医生讲明白才是可解释。B把透明等同开源、解释等同准确率是概念偏移;C完全等同是常见误区;D把透明理解成数据质量、解释理解成性能,均偏离定义。

Q2. 以下哪类模型通常被认为是“白盒”模型?

单选题 · easy

  • A.深度神经网络与大型语言模型
  • B.线性回归模型与决策树模型← 正确答案
  • C.卷积神经网络与循环神经网络
  • D.生成对抗网络与强化学习模型

答案:B。白盒模型指决策规则可以直接阅读,线性回归的系数、决策树的分支规则都能直接理解。而深度神经网络、大语言模型、卷积网络、生成对抗网络等内部表征难以直观解释,属于黑盒。好比决策树是公开的诊疗指南,神经网络是老专家的经验直觉。

Q3. SHAP值计算中权重系数的来源是什么?

单选题 · mid

  • A.所有特征子集的排列组合权重← 正确答案
  • B.训练样本出现的频率分布
  • C.模型参数在训练时的梯度
  • D.数据集的整体方差大小

答案:A。SHAP值来自博弈论Shapley值,权重系数为|S|!(M-|S|-1)!/M!,由特征子集的所有排列决定,衡量特征i在随机排列中出现在子集S之后的概率。它与样本频率、梯度、方差无关。就像会诊时按出场顺序公平计算每位医生的贡献概率。

Q4. 统计均等差异(Δ_DP)衡量的是什么?

单选题 · mid

  • A.不同敏感群体间正向预测概率差← 正确答案
  • B.训练集与测试集的准确率差
  • C.不同特征间的统计相关性程度
  • D.模型前后两个月的预测平均差值

答案:A。Δ_DP = P(ŷ=1|A=0) - P(ŷ=1|A=1),直接对比两个敏感群体被给予正向结果的比例。它不衡量训练测试差异、特征相关性或时间漂移。类似医院比较两个科室的患者治愈率差异,专门盯“差别对待”。

Q5. 按照欧盟《人工智能法案》,以下哪类应用被列为不可接受风险?

单选题 · mid

  • A.垃圾邮件自动过滤系统
  • B.实时远程生物识别系统← 正确答案
  • C.个性化视频推荐系统
  • D.智能客服自动应答系统

答案:B。欧盟AI法案将不可接受风险列为直接禁令,实时远程生物识别在公共场所执法场景因严重侵犯人权被明确禁止。垃圾邮件过滤、视频推荐、智能客服分别属于低风险和有限风险。风险分级决定了监管强度,越危险越要管。

Q6. 模型部署后群体稳定性指数PSI大于0.25通常说明什么?

单选题 · hard

  • A.线上数据分布相对训练时已显著漂移← 正确答案
  • B.模型的预测准确率已经超过百分之九十九
  • C.模型的训练数据一定存在严重偏差
  • D.特征之间的相关系数发生了明显降低

答案:A。PSI>0.25是经验阈值,表示线上数据分布与训练分布显著漂移,模型应对失效。PSI衡量分布变化而非准确率绝对值、训练数据是否存在偏差或特征相关性。好比“病人群体换代了”,旧药方必须调整。

Q7. 以下哪些属于提升算法透明度的措施?

多选题 · mid

  • A.发布模型卡说明用途与限制← 正确答案
  • B.公开训练数据的来源与标注规范← 正确答案
  • C.隐藏模型的决策日志与审计记录
  • D.为训练数据建立完整的数据卡← 正确答案

答案:ABD。提升透明度正是让信息可获取可审计:发布模型卡(用途、性能、限制)、公开数据来源、建立数据卡都是标准做法。隐藏决策日志恰恰是降低透明度。好的医院公开病历和质控记录,而不是锁起来。

Q8. 关于LIME与SHAP,下列说法正确的是?

多选题 · mid

  • A.两者都是事后解释的代理工具← 正确答案
  • B.SHAP满足贡献可加性与完备性← 正确答案
  • C.LIME在预测点附近拟合局部小模型← 正确答案
  • D.两者可直接读取模型内部全部参数

答案:ABC。LIME在预测点附近拟合简单线性模型,SHAP按Shapley值做特征归因,二者都是模型不可知的事后解释工具;它们通过输入扰动观察输出变化来近似黑盒,并不能真正读取内部参数,所以D错误。

Q9. 关于AI伦理中的“责任归属”,正确的是?

单选题 · hard

  • A.模型出错全部责任由算法自身承担
  • B.责任矩阵落实到训练部署监管各环节← 正确答案
  • C.只要用户误操作企业就不承担任何责任
  • D.责任归属问题至今没有可行的解决框架

答案:B。AI伦理责任不是单点而是链条:责任矩阵把数据责任人、模型训练者、部署运营者、监管审计者串起来各司其职。类比医院化验、开药、发药、质控各环节都有签字人。A把算法人格化,C把用户误操作绝对化,D否定现有实践,均不正确。

Q10. 以下哪些场景必须强调AI可解释性?

多选题 · mid

  • A.医疗影像辅助诊断系统← 正确答案
  • B.银行贷款审批决策系统← 正确答案
  • C.智能音箱播放歌曲功能
  • D.司法量刑辅助决策系统← 正确答案

答案:ABD。医疗诊断、贷款审批、司法量刑直接影响个体权益甚至生命自由,必须有解释权与追责路径。智能音箱播放歌曲几乎无风险,不需要严格可解释。这正是“越高风险越要解释”的监管思路,也是AI伦理的底线。