想象一下,你们公司引进了一位叫“小智”的数字员工。他每天审批贷款、识别图片、回答客户问题,但他真的健康吗?他会不会对某些人群有隐藏偏见?他的记忆会不会泄露客户隐私?NIST AI RMF 的 Measure 功能,就是给数字员工安排的全面体检中心。在 RMF 四项核心功能中,Govern 是定制度,Map 是了解工作环境,Measure 是量血压、验血、做运动负荷测试,Manage 则是拿着体检单决定继续录用、安排休息还是转岗。本文带你走进这间体检中心,看抽象的风险描述如何变成一个个可比较、可追踪的分数,变成支撑 AI 风险决策的证据。

岗位关联

对 AI 从业者而言,Measure 是“会用数据说话”的核心能力:无论做合规审计、模型风险管理还是算法治理,都需要靠可复现的指标证明系统是否可信。

目录
  1. 可视化演示
  2. 1. 度量定位
  3. 2. 信任特征
  4. 3. 指标与基线
  5. 4. 性能度量
  6. 5. 鲁棒性度量
  7. 6. 公平性度量
  8. 7. 隐私度量
  9. 8. 风险管理
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示NIST AI RMF度量功能在风险管理流程中的定位、子群性能分项度量暴露的公平性差异、以及公平性与隐私维度的定量指标评估。切换模式查看各维度。

本节配有交互动效(进入视口后自动加载,约 3KB)。

NIST AI RMF度量功能定位 Measure处于Govern(治理)与Manage(管理)之间,承上启下:接收Govern定义的度量策略和Map识别的风险事件,输出结构化风险画像供Manage决策 双轨度量:定量指标(准确率/拒绝率/差异比/成员推断成功率)提供可比较数值,定性指标(专家评审/用户访谈/红队报告)提供上下文情境,互补使用 NIST AI RMF: Govern → Map → Measure → Manage; Measure = quantitative + qualitative Measure是风险管理的数据支撑枢纽

1. 度量定位

如果把 NIST AI RMF 比作一家三甲医院,Govern 是制定就诊流程,Map 是填写既往史和主诉,Measure 就是化验科和影像科:它不负责开药,也不负责诊断,只负责把“我最近不太舒服”变成一张张带着数字、参考范围和趋势线的检查单。

NIST(美国国家标准与技术研究院)提出的 AI 风险管理框架包含四个核心功能:Govern(治理)、Map(映射)、Measure(度量)和 Manage(管理)。Measure 承接 Map 梳理出的风险清单,回答“这个 AI 系统到底有多好、多坏、多不确定”的问题。没有它,后续 Manage 只能拍脑袋决策。

技术上看,Measure 要做三件事:选择合适指标、收集可信数据、分析并展示结果。这些结果必须形成证据链,支持“是否上线”“是否需要治理”“残余风险是否可接受”等判断。一套完整的度量方案,本身就是组织 AI 风险管理能力的体现。

体检科的位置之所以关键,是因为它决定了全院的诊断质量。同样,Measure 输出越可靠,Manage 的整改措施越有针对性,组织对 AI 风险的控制力也越强。

ϕ:S×C→[0,1]n\displaystyle \phi: \mathcal{S} \times \mathcal{C} \to [0,1]^n
通俗地说:度量函数把 AI 系统和它所在的环境组合起来,映射成一组 0 到 1 之间的健康分数。
  1. 状态集合\mathcal{S} 表示 AI 系统可能处于的状态,比如不同输入分布、不同负载下的表现。
    S\mathcal{S}
  2. 上下文集合\mathcal{C} 表示使用环境,包括用户群体、地域、数据来源等场景信息。
    C\mathcal{C}
  3. 乘积空间两者相乘表示“系统×场景”的组合,这也是风险评估的真实单位。
    S×C\mathcal{S} \times \mathcal{C}
  4. 分数向量[0,1]^n 是标准化后的 n 个指标,例如准确性 0.94、公平性 0.81。
    [0,1]n[0,1]^n

2. 信任特征

一份合格体检报告不会只写“总体健康”,而会分科室给出血压、血糖、血脂、心电图等指标。NIST 也要求从多个信任特征打量 AI 系统,而不是用一句“效果不错”概括。

这些特征包括:有效性与可靠性、安全性与鲁棒性、公平性与偏见缓解、隐私增强等。一个贷款审批模型不仅准确率要高,还不能对特定性别或族裔产生系统性歧视;一个医疗影像模型不仅要灵敏,也要在光线、噪声等扰动下保持稳定。

因此,度量人员会先建立“特征清单”,再为每个特征选择测量工具。若某个特征缺失,体检单上就会有一行刺眼的“未检”。例如只测性能不测公平,相当于只查血压不查血糖。

体检单的每一行都要能被追溯。同理,每个信任特征的得分都必须附带计算过程、数据集和测试环境,否则无法回答审计人员的“为什么这么高”。

M=(mvalid,msafe,mfair,mpriv),0≤mk≤1\displaystyle \mathbf{M} = (m_{\text{valid}}, m_{\text{safe}}, m_{\text{fair}}, m_{\text{priv}}), \quad 0 \le m_k \le 1
通俗地说:最终交付的不是一个总分,而是每个信任特征各有一个 0 到 1 的得分,逐一对照风险。
  1. 结果向量\mathbf{M} 表示一次完整度量的输出,由多个维度得分组成。
    M\mathbf{M}
  2. 有效性维度m_{\text{valid}} 衡量模型是否真的完成既定任务,对应准确率、召回率等。
    mvalidm_{\text{valid}}
  3. 安全与鲁棒m_{\text{safe}} 衡量模型面对异常输入或攻击时是否依然安全。
    msafem_{\text{safe}}
  4. 公平与隐私m_{\text{fair}} 和 m_{\text{priv}} 分别衡量公平性与隐私保护水平。
    mfair,  mprivm_{\text{fair}}, \; m_{\text{priv}}

3. 指标与基线

量血压时,医生会对照“90/60 到 140/90”的参考范围判断是否异常。AI 度量也一样:没有基线,任何数字都只是孤零零的数字。

指标分为两类。定量指标是可以用数值计算的,如准确率、时延、隐私预算;定性指标来自专家判断、审计记录或事件分级,如“数据泄露造成的声誉损失属于严重级”。两者互相补充,共同说明风险的大小。

基线来源包括行业基准、历史运行数据、法规要求以及组织自定义的风险偏好。阈值一旦设定,就相当于体检单上的参考范围:低于下限或高于上限都会触发警报。但基线不是一成不变的,模型上线环境变化后需要重新校准。

指标和基线是体检单的“刻度线”。刻度越清晰,后续风险决策就越不容易被主观情绪带偏,也越容易向监管方解释。

pass=1[ τmin⁡≤x≤τmax⁡ ]\displaystyle \text{pass} = \mathbb{1}[\, \tau_{\min} \le x \le \tau_{\max} \,]
通俗地说:这是一个合格判断器,只要观测指标落在上下限之间就判为合格,否则判为不合格。
  1. 观测值x 是某次测评得到的指标,例如本月平均鲁棒性得分。
    xx
  2. 下限\tau_{\min} 是最低可接受标准,通常来自法规或安全底线。
    τmin⁡\tau_{\min}
  3. 上限\tau_{\max} 是最高允许范围,防止性能异常高却伴随过拟合或风险。
    τmax⁡\tau_{\max}
  4. 指示函数\mathbb{1}[\cdot] 在条件成立时取 1,不成立时取 0。
    1[ τmin⁡≤x≤τmax⁡ ]\mathbb{1}[\, \tau_{\min} \le x \le \tau_{\max} \,]

4. 性能度量

体检中的“运动负荷试验”会观察心率、血压在高强度下的反应,性能度量则是看 AI 在测试集上的基本功。最容易想到的指标是准确率:答案对了多少。

但准确率背后藏着一张混淆矩阵,它把预测结果与真实标签分成四类:真正例(TP)、真负例(TN)、假正例(FP)和假负例(FN)。对异常检测、疾病筛查等样本不平衡场景,单纯准确率会骗人:即使模型把所有样本都判为“正常”,准确率也可能高达 95%,却漏掉了所有病人。

因此,业界通常结合精确率(预测为正例中有多少是对的)、召回率(真实正例中有多少被找到)以及 F1 分数来综合判断。F1 是精确率和召回率的调和平均,能平衡“不能漏”和“不能误报”这两个有时冲突的目标。

只报准确率的体检单是危险的。真正专业的度量会把混淆矩阵摊开,让风险管理者看到模型在哪里犯错,犯错的代价有多大,从而决定是否继续录用这位数字员工。

Accuracy=TP+TNTP+TN+FP+FN\displaystyle \text{Accuracy} = \frac{TP + TN}{TP + TN + FP + FN}
通俗地说:准确率等于所有判断正确的情况除以所有样本,是体检报告里最基础但绝不能单独使用的数字。
  1. 真正例TP 是“实际为真且预测为真”的样本数。
    TPTP
  2. 真负例TN 是“实际为假且预测为假”的样本数。
    TNTN
  3. 假正例与假负例FP 是误报,FN 是漏报。
    FP,  FNFP, \; FN
  4. 全量样本分母是四类求和,代表所有可能结果的样本总数。
    TP+TN+FP+FNTP + TN + FP + FN

5. 鲁棒性度量

体检中有一种“冷热冲击试验”,把材料反复放在极冷和极热环境中,看它何时开裂。鲁棒性度量就是给 AI 系统做压力测试:当输入被轻微改变后,系统是否还能保持正确判断。

干扰可以来自光线变化、传感器噪声、用户口音,也可以来自恶意构造的对抗样本。对抗样本看起来和正常输入几乎没有区别,却能让模型信心满满地犯下离谱错误。自动驾驶中一个被改了几个像素的“停车”标志,可能被识别成“限速”标志。

量化鲁棒性的常用方法是比较扰动前后的预测是否一致。若一致率越高,说明系统越能在真实世界的噪声中保持稳定。

体检报告不仅记录“健康时正常”,还要记录“受冲击时是否依然正常”。鲁棒性差的模型就像一晒就倒的员工,平时看起来能干,关键时刻却最不可靠。

Rrobust=1N∑i=1N1[ f(xi+δi)=f(xi) ]\displaystyle R_{\text{robust}} = \frac{1}{N}\sum_{i=1}^{N} \mathbb{1}[\,f(x_i + \delta_i) = f(x_i)\,]
通俗地说:把 N 个输入都加上一点小干扰,看看模型有多少次依然给出同样的答案,比例越高越抗造。
  1. 模型函数f(x) 表示 AI 模型对输入 x 的预测。
    f(x)f(x)
  2. 原始输入x_i 是测试集中的第 i 个样本。
    xix_i
  3. 扰动项\delta_i 是加到样本上的微小变化,例如噪声或对抗扰动。
    δi\delta_i
  4. 一致率均值对每个样本比较扰动前后预测,相等记 1,最后取平均。
    1N∑i=1N1[ f(xi+δi)=f(xi) ]\frac{1}{N}\sum_{i=1}^{N} \mathbb{1}[\,f(x_i + \delta_i) = f(x_i)\,]

6. 公平性度量

体检中心还会关心同一项检查在不同人群中的分布:男性与女性的正常值可能不同,老年人与青年人的风险阈值也应不同。AI 公平性度量要回答的是:系统是否对某些群体造成了系统性不公。

公平性没有唯一公式,而要结合业务场景选择指标。人口均等要求不同群体的正向预测率接近;均等化几率进一步要求各群体的错误率接近;差异影响则用比例体现“相对劣势”,美国公平就业机会委员会等机构常用 80% 规则作为参考:若受保护组的有利结果率低于优势组的 80%,就可能构成不利影响。

度量公平性时,首先要明确敏感属性(如性别、种族、年龄),然后在各组分别计算指标,最后比较差异是否超过可接受范围。这个步骤最容易引发争议,因为“公平”本身取决于社会规范与法规解释。

公平性体检不能只看平均数字,还要把群体拆分出来逐个看差异。这才是把“人人平等”的价值观翻译成风险管理语言的关键一步。

DI=P(y^=1∣A=a)P(y^=1∣A=b)\displaystyle DI = \frac{P(\hat{y}=1 \mid A=a)}{P(\hat{y}=1 \mid A=b)}
通俗地说:比较受保护组和优势组被模型判定为正向结果的概率,用比值反映是否存在系统性偏差。
  1. 预测结果\hat{y}=1 表示模型给出了正向预测,例如“通过贷款审批”。
    y^=1\hat{y}=1
  2. 敏感属性A=a 和 A=b 分别表示受保护组与优势组。
    A=a,  A=bA=a, \; A=b
  3. 条件概率P(\hat{y}=1 \mid A=a) 是受保护组被预测为正向的比例。
    P(y^=1∣A=a)P(\hat{y}=1 \mid A=a)
  4. 差异影响DI 越接近 1 越公平,显著低于 0.8 则触发预警。
    DI<0.8DI < 0.8

7. 隐私度量

体检报告上有姓名、年龄、病史,患者最担心的是:这份报告会不会被认出、被滥用?AI 系统的隐私度量,就是评估“攻击者有没有可能通过模型或数据推断出某个人的信息”。

常见风险是重识别:删除姓名后,攻击者仍可借助年龄、性别、邮编等“准标识符”组合锁定个人。另一种风险是模型记忆:语言模型可能把训练数据中的个人信息原样吐给用户。隐私度量需要系统性地评估这些泄漏路径。

差分隐私从理论层面给出了优雅保障:它允许数据发布者对外输出统计结果,同时保证任意单条记录的存在与否对结果的影响都被控制在 \varepsilon 以内。\varepsilon 越小,隐私保护越强,但数据可用性也可能下降。

隐私体检的结果不会写“绝对安全”,而是写“在多大程度上无法被区分”。只要存在信息交互,隐私就是概率问题,必须在可用性和保护强度之间反复权衡。

Pr⁡[M(D)∈S]≤eεPr⁡[M(D′)∈S]\displaystyle \Pr[\mathcal{M}(D) \in S] \le e^{\varepsilon} \Pr[\mathcal{M}(D') \in S]
通俗地说:无论你的数据在不在数据集里,别人看到的查询结果都差不多,攻击者很难推断“你是不是在里面”。
  1. 随机算法\mathcal{M} 是带有随机性的数据发布或计算机制。
    M\mathcal{M}
  2. 相邻数据集D 和 D' 只相差一条记录,用来模拟“某个人是否被包含”。
    D,  D′D, \; D'
  3. 输出集合S 是算法可能输出的任意结果集合。
    SS
  4. 隐私预算\varepsilon 是差异上限,越小表示两条路径越难区分。
    eεe^{\varepsilon}

8. 风险管理

所有体检指标最终要汇成一张总结表,告诉团队:哪些风险必须立即处理,哪些可以接受,哪些需要持续观察。Measure 的终点不是曲线图,而是支撑 Manage 决策的风险判断。

风险矩阵是常用工具:横轴是风险发生的可能性,纵轴是影响严重度,两者相乘得到风险值。高可能性、高影响的事件自然进入红色区域;低可能性、低影响的事件可以进入黄色甚至绿色区域。治理措施实施后,剩余风险称为残余风险,需要重新度量并确认是否低于组织可接受线。

Measure 不是一次性工作。模型上线后,数据分布会漂移、业务环境会变化、攻击手段会升级,原本合格的风险可能悄悄回升。因此需要设定持续监测指标,定期重新体检,形成“度量—反馈—再度量”的闭环。

体检中心的价值不在于打印报告,而在于让管理层敢拍板:这个 AI 系统可以上岗,但需要每季度复查;那个模型必须下线整改。Measure 的意义,就是让这些决定不再靠“我觉得”,而是靠“数据显示”。

Rrisk=L×I\displaystyle R_{\text{risk}} = L \times I
通俗地说:风险值等于“这件事发生概率多大”乘以“如果发生后果多严重”,两者都高则立刻呼救。
  1. 可能性L 表示风险发生的可能性等级,常用 1 到 5 分。
    LL
  2. 影响度I 表示事件造成的影响严重度,同样用 1 到 5 分表达。
    II
  3. 乘积两者相乘得到风险值,落在风险矩阵的不同颜色区域。
    L×IL \times I
  4. 风险值R_{\text{risk}} 用于比较不同风险优先级,驱动资源分配。
    RriskR_{\text{risk}}

AI 应用场景

金融信贷模型上线前的“公平体检”

阶段:上线前评估、定期合规审计

解决的问题:传统合规靠人工抽检,很难发现模型对特定人群的系统性偏差。用 Measure 阶段的公平性指标,可以量化“受保护组”与“优势组”的通过率差异。

具体案例:某银行消费贷模型上线前计算差异影响,发现受保护组通过率仅为优势组的 61%,低于 80% 规则阈值。团队对训练数据重新采样并调整阈值,复测后降至 87%,随后才获准上线。

医疗影像诊断系统的鲁棒性与隐私度量

阶段:部署前压测、持续监测

解决的问题:医院环境复杂,X 光片可能存在噪声、不同设备分辨率、轻微压缩。仅靠静态测试集无法预判现场表现,且患者隐私数据一旦外泄后果严重。

具体案例:某 CT 肺癌筛查模型在加入轻微 JPEG 压缩和传感器噪声后,预测一致率从 94% 跌至 71%。厂商补充对抗训练后重新度量,并在持续监测中保留隐私泄漏检查,最终通过三级医院评审。

大语言模型发布前的隐私泄漏审计

阶段:发布前评估、模型更新后复查

解决的问题:大模型可能“记住”训练语料中的个人信息,传统过滤方案无法覆盖所有生成路径。

具体案例:某法律咨询大模型在发布前进行隐私探测,通过构造提示词诱导模型回忆训练数据,成功触发 12 条真实个人电话号码。团队据此进行抗记忆训练并部署差分隐私过滤,复测后泄漏事件归零。

Python 演示

python50 行
# 简易 AI 风险度量演示: 用体检思维评估一个信贷审批模拟模型import randomrandom.seed(2024) def simulate_data(n=800):    # 构造模拟数据: y_true 是否违约, score 模型打分, group 是否受保护    y_true = [1 if random.random() < 0.2 else 0 for _ in range(n)]    score = [0.75 if y == 1 else 0.3 for y in y_true]    score = [s + random.gauss(0, 0.12) for s in score]    y_pred = [1 if s > 0.5 else 0 for s in score]    group = [1 if random.random() < 0.4 else 0 for _ in range(n)]    return y_true, y_pred, group def performance(y_true, y_pred):    tp = sum(1 for t, p in zip(y_true, y_pred) if t == 1 and p == 1)    tn = sum(1 for t, p in zip(y_true, y_pred) if t == 0 and p == 0)    fp = sum(1 for t, p in zip(y_true, y_pred) if t == 0 and p == 1)    fn = sum(1 for t, p in zip(y_true, y_pred) if t == 1 and p == 0)    acc = (tp + tn) / len(y_true)    pre = tp / (tp + fp) if tp + fp else 0.0  # 精确率    rec = tp / (tp + fn) if tp + fn else 0.0  # 召回率    f1 = 2 * pre * rec / (pre + rec) if pre + rec else 0.0    return tp, tn, fp, fn, acc, pre, rec, f1 def fairness_disparate_impact(y_true, y_pred, group):    # 比较受保护组(1)和优势组(0)的预测通过率    rate0 = sum(1 for p, g in zip(y_pred, group) if p == 1 and g == 0) / max(1, sum(1 for g in group if g == 0))    rate1 = sum(1 for p, g in zip(y_pred, group) if p == 1 and g == 1) / max(1, sum(1 for g in group if g == 1))    return rate0, rate1, rate1 / rate0 def k_anonymity_reid_risk(records):    from collections import Counter    groups = Counter(records)    # 每个准标识符组合对应 k 条记录时, 随机猜中率是 1/k    risks = [1.0 / cnt for cnt in groups.values() for _ in range(cnt)]    return sum(risks) / len(risks) if risks else 0.0 def main():    y_true, y_pred, group = simulate_data()    tp, tn, fp, fn, acc, pre, rec, f1 = performance(y_true, y_pred)    rate0, rate1, di = fairness_disparate_impact(y_true, y_pred, group)    print("准确率:", round(acc, 3))    print("精确率:", round(pre, 3), "召回率:", round(rec, 3), "F1:", round(f1, 3))    print("优势组通过率:", round(rate0, 3), "受保护组通过率:", round(rate1, 3))    print("差异影响(DI):", round(di, 3))    quasi = [(i % 20, i % 5, i % 3) for i in range(400)]    print("平均重识别风险:", round(k_anonymity_reid_risk(quasi), 3)) if __name__ == "__main__":    main()
目的:用模拟信贷数据演示 Measure 的核心步骤,包括性能混淆矩阵、公平性差异影响和隐私重识别风险。
  1. def performance(y_true, y_pred):把真实标签和预测标签放进混淆矩阵,计算基础性能指标。
  2. acc = (tp + tn) / len(y_true)准确率就是所有判断正确的样本除以全体样本。
  3. pre = tp / (tp + fp) if tp + fp else 0.0精确率计算中加入防除零保护,避免分母为 0 时报错。
  4. rate0 = sum(1 for p, g in zip(y_pred, group) if p == 1 and g == 0) / max(1, sum(1 for g in group if g == 0))分别统计优势组的正向预测比例。
  5. groups = Counter(records)统计每个准标识符组合出现次数,用于估算攻击者猜中个人的概率。

常见误区

误区模型在测试集上准确率达到 95%,就认为可以放心上线,不需要再看其他指标。

正解准确率只是体检单上一项。NIST Measure 要求从有效性、鲁棒性、公平性、隐私等维度综合评价。贷款模型如果准确率很高却对某类人群系统误拒,安全风险依然巨大。

为何常见:准确率最直观、最常被宣传,人们容易把“看起来好”当成“真正好”。

误区只要各群体的预测通过率完全相同,就认为模型已经绝对公平。

正解公平性有多个定义。人口均等看通过率,均等化几率看错误率,差异影响看相对比例。业务场景决定该用哪个指标,追求“数字完全一样”反而可能制造新的不合理。

为何常见:现实世界存在历史不平等,简单平均掩盖了实际群体差异。

误区把姓名、身份证号从数据集里删掉,就认为任何人都无法识别出个人。

正解攻击者可以用年龄、性别、邮编等准标识符组合实现重识别。隐私度量需要计算重识别风险,并评估差分隐私等保护的强度,而不是只看字段是否被删除。

为何常见:人们把“看起来匿名”等同于“数学上匿名”,忽略了上下文信息的力量。

误区模型上线前做一次完整评估,之后三年都不再管它。

正解数据分布会漂移,业务目标会变化,攻击手段会升级。NIST Measure 要求持续监测并定期重测,残余风险必须长期处于可接受范围内。

为何常见:把 Measure 当成项目交付物,而不是贯穿 AI 生命周期的持续能力。

面试题

Q1. NIST AI RMF 中 Measure 功能的定位是什么?

单选题 · easy

  • A.把风险化作可测证据← 正确答案
  • B.制定奖惩提振士气
  • C.收集样本扩充数据
  • D.管理硬件保障效率

答案:A。Measure 的核心是把抽象风险转化为可量化、可比较的证据,正对应体检中心出检查单。制定奖惩属于治理,收集样本属于数据工程,管理硬件属于运维。

Q2. 下列哪一项属于可信 AI 特征?

单选题 · easy

  • A.公平无偏的决策← 正确答案
  • B.美观大方的界面
  • C.高效敏捷的开发
  • D.简洁清晰的注释

答案:A。NIST 强调可信 AI 包括有效可靠、安全鲁棒、公平无偏、隐私保护等特征。界面、开发和注释是工程问题,不是信任属性的核心考察对象。

Q3. 准确率计算中,分母应该是?

单选题 · easy

  • A.所有预测正确的样本数
  • B.所有预测为正例的样本
  • C.所有样本总数的规模← 正确答案
  • D.所有真实为正例的样本

答案:C。准确率等于分类正确的样本数除以全体样本数。预测正确的样本数是分子,预测为正例或真实为正例都是性能度量的其他口径,不能作为准确率分母。

Q4. 80% 规则主要用于判断什么?

单选题 · mid

  • A.判断训练集规模是否充足
  • B.判断公平差异是否可接受← 正确答案
  • C.判断隐私预算是否超限
  • D.判断鲁棒性是否下降过快

答案:B。80% 规则是衡量差异影响的经验法则:若受保护组的有利结果率低于优势组的 80%,就可能构成不利影响,属于公平性度量的预警阈值。

Q5. 差分隐私中 ε 越小,表示什么?

单选题 · mid

  • A.单条记录影响输出的上限越小← 正确答案
  • B.模型网络层数规模的上限越小
  • C.训练数据样本容量的大小越小
  • D.推理时延要求上限的指标越小

答案:A。ε 是隐私预算,用来限制任意一条记录对输出分布的影响。ε 越小,攻击者越难判断某个人是否在数据集中,隐私保护越强。

Q6. 鲁棒性度量的典型做法是什么?

单选题 · mid

  • A.添加扰动观察预测是否改变← 正确答案
  • B.增加训练轮次提升模型性能
  • C.修改损失函数降低训练损失
  • D.压缩模型大小减少资源消耗

答案:A。鲁棒性是系统面对干扰维持正确响应的能力。常见做法是给原始输入加噪声或对抗扰动,再比较预测是否一致,这也是体检中压力测试的核心思路。

Q7. 风险矩阵通常如何量化风险值?

单选题 · mid

  • A.可能性程度乘以影响程度← 正确答案
  • B.平均精度减去平均召回
  • C.隐私预算除以泄露概率
  • D.敏感度加上鲁棒性得分

答案:A。风险矩阵把发生可能性和影响严重度映射为分数,两者相乘得到风险值。它帮助团队按照优先级处理高风险事件,是 Measure 和 Manage 的接口。

Q8. 在 Measure 阶段常用的量化指标包括哪些?

多选题 · hard

  • A.准确率与召回率指标← 正确答案
  • B.群体通过率差异指标← 正确答案
  • C.重识别风险概率指标← 正确答案
  • D.模型总参数量大小指标

答案:ABC。性能、公平性和隐私都是 Measure 必须覆盖的维度,分别对应准确率与召回率、群体通过率差异和重识别风险。模型参数量只是规模描述,不属于风险度量指标。

Q9. 设计公平性度量时,需要明确哪些要素?

多选题 · hard

  • A.目标是否与业务对齐← 正确答案
  • B.属性范围和划分方式← 正确答案
  • C.指标适用的场景边界← 正确答案
  • D.显示芯片的功耗水平

答案:ABC。公平性度量首先要理解业务定义,其次明确敏感属性范围,再选择匹配场景的统计指标。硬件功耗是部署问题,不决定公平性度量设计。

Q10. 持续监测 AI 风险时应关注哪些信号?

多选题 · extreme

  • A.输入数据分布漂移← 正确答案
  • B.预测目标概念漂移← 正确答案
  • C.残余风险的动态变化← 正确答案
  • D.服务器机箱外壳颜色

答案:ABC。持续监测重点关注数据漂移、概念漂移和残余风险变化,这些信号会改变模型的真实风险等级。机箱外壳颜色与模型行为无关,不应进入风险监测视野。