在医院的化验单上，每个指标旁都印着“参考范围”：血压 90-140 mmHg、空腹血糖 3.9-6.1 mmol/L。医生判断你健康与否，靠的就是把实测值与这套“参考基线”逐一对照；哪项超标，哪项就是接下来的改进重点。AI 模型的安全测试也是如此——与其空喊“这个模型很安全”，不如把攻击成功率、有害内容阻断率、提示注入抵抗率等指标，拿去和行业基准或前代版本比一比，看清它究竟站在及格线的哪一边。这篇文章将带你完整走一遍“模型安全体检”的流程：基线怎么选、指标怎么比、差距怎么定位、改进怎么排优先级，再认识这套方法的局限，以及如何用可扩展设计迎接未来的攻防演进。

岗位关联

对 AI 从业者而言，掌握安全基线对比意味着能用可量化的方式向团队和客户证明“模型安全水平处在什么位置”，并驱动后续的安全改进投入，这是安全测试与风险管理岗位的核心技能之一。

目录
  1. 可视化演示
  2. 基线选取原则
  3. 对比指标体系
  4. 差距分析方法
  5. 改进决策流程
  6. 评测指标局限
  7. 可扩展设计思路
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示模型安全指标与基线阈值对比、多维度综合基线评估，以及上线门禁中的安全差距诊断与改进规划。

本节配有交互动效（进入视口后自动加载，约 3KB）。

安全基线对比 模型指标与基线阈值对比 act≥thr 毒性需≥98%越狱需≥90%通过门禁。

基线选取原则

体检单上的参考范围不是随便印的。儿科医生不会用成人的血压标准去衡量一个 8 岁孩子，老年科也不会拿运动员的心率来要求普通老人——选错了参照系，再精确的测量也会得出荒谬的结论。安全基线对比的第一步，同样是回答一个问题：拿什么当这把“参考尺”？

在 AI 安全测试中，基线不是拍脑袋定的数字，而是有明确来源的参照标准。常见来源有三类：行业基准，由权威评测机构在统一评测集上标定，代表“这个品类的模型普遍该有的安全水平”；前代版本，同一模型上一次发布时的评测成绩，回答“这次迭代是进步还是退步”；业务领域标准，根据真实场景的风险承受度自定义。例如医疗问答模型对隐私泄露的容忍阈值，就远低于娱乐聊天模型。

三种基线各有侧重，实践中通常按权重合成一条综合基线：

就像给孩子体检要综合“同龄人数据 + 上次记录 + 家族病史”，加权合成基线本质上是让“参考尺”更贴合被检对象的真实处境——既不看错科室，也不张冠李戴。

B=w1⋅Bindustry+w2⋅Bprev+w3⋅Bdomain,w1+w2+w3=1B = w_{1} \cdot B_{\text{industry}} + w_{2} \cdot B_{\text{prev}} + w_{3} \cdot B_{\text{domain}}, \quad w_{1} + w_{2} + w_{3} = 1
加权合成基线：把行业基准、前代版本、领域标准三个参考值按权重叠加成一把“综合参考尺”，权重之和必须为 1，权重按对比目标分配。
  1. 认识三个参考来源$B_{\text{industry}}$ 是行业基准，$B_{\text{prev}}$ 是前代版本成绩，$B_{\text{domain}}$ 是领域自定义标准，三个来源都要统一量纲后才能参与合成。
    Bindustry, Bprev, BdomainB_{\text{industry}},\ B_{\text{prev}},\ B_{\text{domain}}
  2. 分配权重$w_{1},\ w_{2},\ w_{3}$ 分别表示三个来源在最终基线中的信任占比，例如目标是“证明比前代强”时，就把 $w_{2}$ 调高。
    w1, w2, w3∈[0,1]w_{1},\ w_{2},\ w_{3} \in [0, 1]
  3. 归一化约束权重之和必须为 1，保证合成后的基线仍处于同一量纲，不会因叠加而整体漂移。
    w1+w2+w3=1\displaystyle w_{1} + w_{2} + w_{3} = 1
  4. 合成基线$B$ 是最终采用的综合参考尺，代表结合多方参考后的安全合格线，后续的所有对比都以此为准。
    B=w1⋅Bindustry+w2⋅Bprev+w3⋅BdomainB = w_{1} \cdot B_{\text{industry}} + w_{2} \cdot B_{\text{prev}} + w_{3} \cdot B_{\text{domain}}

对比指标体系

体检不能只量血压就下结论——血脂、血糖、肝功能、肾功能各查各的，合起来才构成一次完整的健康评估。如果只盯着血压，一位血糖严重超标的人也可能被误判为“健康”。AI 模型的安全测评同理，必须建立一套覆盖多类风险的指标体系，才能避免“单科优秀、整体挂科”的错觉。

安全对比指标体系通常包括四类核心指标：安全响应率，模型对恶意输入的识别与拦截比例；攻击成功率，各类攻击手段突破防护的比例；误拒与误放率，误伤正常用户与放过恶意内容的两类错误；覆盖维度清单，测试集覆盖了提示注入、越狱攻击、对抗样本、隐私泄露等哪些风险类别。这些指标从“防得住”与“少误伤”两个方向共同刻画安全能力。

多指标不能简单相加，需要按业务重要性加权聚合为一个综合安全分：

体检套餐里每个项目都对应一根“健康标尺”，对比指标体系就是模型的“体检套餐”——项目不全，漏诊的就是安全风险；权重失衡，等于把无关紧要的小项目看得比心肺功能还重。

S=∑k=1nλk⋅sk,∑k=1nλk=1S = \sum_{k=1}^{n} \lambda_{k} \cdot s_{k}, \quad \sum_{k=1}^{n} \lambda_{k} = 1
综合安全分公式：将 n 个对比指标各自打分后，按权重 λ 加权求和得到综合安全分，权重体现各指标对业务的重要性。
  1. 列全指标$s_{k}$ 表示第 $k$ 项指标的得分，$n$ 为指标总数，先保证维度覆盖完整再谈计算。
    sk,k=1,2,…,ns_{k},\quad k = 1, 2, \dots, n
  2. 设定权重$\lambda_{k}$ 为该指标的权重，业务敏感度越高的维度权重越大，例如隐私类指标权重大于泛化性能指标。
    λk∈[0,1]\lambda_{k} \in [0, 1]
  3. 加权求和$\displaystyle S = \sum_{k=1}^{n} \lambda_{k} \cdot s_{k}$ 把多维得分压缩为单一综合分，便于横向比较与趋势跟踪。
    S=∑k=1nλk⋅sk\displaystyle S = \sum_{k=1}^{n} \lambda_{k} \cdot s_{k}
  4. 归一限制$\displaystyle \sum_{k=1}^{n} \lambda_{k} = 1$ 使综合分保持在可比量纲，防止某个指标权重失衡主导全局。
    ∑k=1nλk=1\displaystyle \sum_{k=1}^{n} \lambda_{k} = 1

差距分析方法

体检报告出来后，医生不会把四十多项指标从头念一遍，而是圈出几个“箭头朝上”的异常项：血压高、血脂高、血糖临界，然后按严重程度排个序：“先把血压控制住，这个最要紧。”差距分析做的就是医生的这个动作——把模型与基线逐项对比，圈出薄弱环节，按偏差幅度排出改进顺序。

差距分析的第一步是逐项计算相对偏差。这里有个关键陷阱：指标的“方向性”。攻击成功率是越低越好，安全响应率是越高越好。如果机械地“模型值减基线值”，方向不同的指标就无法统一解读，因此必须先判断方向、再选分子。

对“越高越好”的指标直接用模型值减基线值，对“越低越好”的指标用基线值减模型值，再除以基线值得到相对差距：

医生圈出异常指标、按危险程度排序，差距分析给出的正是那张“圈了红笔的化验单”——每一项偏差都摆在明面上，最刺眼的红色箭头，就是最需要优先处理的薄弱环节。

Gk={Skmodel−SkbaseSkbase×100%,越高越好Skbase−SkmodelSkbase×100%,越低越好G_{k} = \begin{cases} \dfrac{S_{k}^{\text{model}} - S_{k}^{\text{base}}}{S_{k}^{\text{base}}} \times 100\%, & \text{越高越好} \\[6pt] \dfrac{S_{k}^{\text{base}} - S_{k}^{\text{model}}}{S_{k}^{\text{base}}} \times 100\%, & \text{越低越好} \end{cases}
相对差距公式：按指标方向统一计算“模型相对基线的偏差百分比”，正数表示达标，负数表示未达标，负数的绝对值越大说明落后越多。
  1. 判断指标方向先确认该指标属于“越高越好”还是“越低越好”，方向判断错误会让差距符号完全颠倒，结论南辕北辙。
    方向={越高越好越低越好\text{方向} = \begin{cases} \text{越高越好} \\ \text{越低越好} \end{cases}
  2. 计算分子越高越好时用 $S_{k}^{\text{model}} - S_{k}^{\text{base}}$，越低越好时用 $S_{k}^{\text{base}} - S_{k}^{\text{model}}$，分子为正表示模型优于基线。
    Skmodel−Skbase或Skbase−SkmodelS_{k}^{\text{model}} - S_{k}^{\text{base}} \quad \text{或} \quad S_{k}^{\text{base}} - S_{k}^{\text{model}}
  3. 归一化分母除以 $S_{k}^{\text{base}}$ 得到相对差距而非绝对差距，让不同量纲的指标可以互相比较。
    Gk=分子SkbaseG_{k} = \frac{\text{分子}}{S_{k}^{\text{base}}}
  4. 读取结果$\times 100\%$ 转为百分比，正数为达标、负数为未达标；对负数按绝对值从大到小排序，即为改进优先级的参考。
    Gk×100%G_{k} \times 100\%

改进决策流程

拿到体检报告不是终点。医生会开出处方、叮嘱饮食和运动，并约定三个月后复查；如果药不对症，复查指标没降下来，再调整方案。安全基线对比的价值同样不在报告本身，而在报告驱动的后续动作——改进决策流程，就是“开处方 + 预约复查”的环节。

改进决策流程分为四步：汇总对比报告，把各指标差距整理成可读文档；制定改进计划，针对未达标的薄弱项提出具体方案，如补充对抗训练、增加过滤规则；分配优化资源，把有限的工程资源投到关键缺口上；跟踪复测验证，在下一轮评测中确认改进是否生效。其中优先级排序是决策的关键——不能因为某个指标差距最大就无脑先修它，还要看它有多影响业务。

综合差距幅度与业务重要性，改进优先级可以量化为：

一位血脂偏高但血压正常的人，医生不会因为血脂箭头最红就先开降脂药——如果他有冠心病家族史，血压才是第一个要压住的指标。优先级 = 偏差 × 业务权重，正是让“处方”先开在最要紧的病灶上，再通过复查验证疗效。

Pk=∣Gk∣×wkbusinessP_{k} = |G_{k}| \times w_{k}^{\text{business}}
优先级计算公式：某指标的改进优先级等于其差距绝对值乘以业务权重。业务权重反映该指标对应风险对真实用户的影响程度。
  1. 取差距绝对值$|G_{k}|$ 把负偏差转为正数，数值越大代表落后幅度越大，这是硬事实。
    ∣Gk∣≥0|G_{k}| \geq 0
  2. 乘业务权重$w_{k}^{\text{business}}$ 为该指标的业务重要性系数（0~1），例如涉及用户隐私的指标业务权重远高于冷门性能指标。
    wkbusiness∈[0,1]w_{k}^{\text{business}} \in [0, 1]
  3. 得到优先级分数$P_{k}$ 越高越优先投入资源，避免“修了不重要的、漏了要命的”。
    Pk=∣Gk∣×wkbusinessP_{k} = |G_{k}| \times w_{k}^{\text{business}}

评测指标局限

再全面的体检也有盲区。空腹血糖正常不代表没有糖尿病风险，因为餐后血糖可能飙升；体检报告显示“未见异常”，也不等于身体 100% 健康。读懂化验单的局限，和读懂安全评测指标的局限，同样重要——否则你就会把“检查没查出问题”误当成“绝对安全”。

安全评测指标至少存在四类局限：单一指标失真，一个综合分可能掩盖内部某项严重短板；场景覆盖偏差，评测集来自特定数据集，换一个业务场景结论可能反转；数据分布依赖，模型在评测集上的表现高度依赖评测数据的难度与分布；动态攻防失效，攻击手段在演进而基線是静态快照，昨天的满分挡不住今天的全新攻击。

用分解式表达来看待“测量值”与“真实值”的差距，能更清醒地认识指标：

体检单上有行小字：“本报告仅对本次检查负责。”安全评测指标也一样——它是对特定场景、特定时刻的一种抽样观察，而不是对模型安全的永久背书。看懂盲区，才不会拿着过时的化验单硬套在明天的身体上。

Rmeasured=Rtrue+εsampling+εcoverage+εdriftR_{\text{measured}} = R_{\text{true}} + \varepsilon_{\text{sampling}} + \varepsilon_{\text{coverage}} + \varepsilon_{\text{drift}}
测量值分解公式：评测得到的风险值等于真实风险值加上采样误差、覆盖偏差与攻防漂移误差之和。误差项越大，指标越不可信。
  1. 真实风险$R_{\text{true}}$ 是模型在当前环境下的真实安全风险，它无法直接观测，只能间接估计。
    RtrueR_{\text{true}}
  2. 采样误差$\varepsilon_{\text{sampling}}$ 来自评测样本的抽样波动，样本量小或分布偏时该误差会显著增大。
    εsampling\varepsilon_{\text{sampling}}
  3. 覆盖偏差$\varepsilon_{\text{coverage}}$ 来自评测集未覆盖真实场景的某些风险类型，比如没有测多模态深度伪造。
    εcoverage\varepsilon_{\text{coverage}}
  4. 攻防漂移$\varepsilon_{\text{drift}}$ 来自攻击技术更新导致的基线过时，静态基准会随攻防演进逐渐失效。
    εdrift\varepsilon_{\text{drift}}
  5. 合理解读$R_{\text{measured}}$ 只是真实风险的有偏估计，解读任何单项指标都要留三分余地，不能绝对化。
    Rmeasured=Rtrue+εsampling+εcoverage+εdriftR_{\text{measured}} = R_{\text{true}} + \varepsilon_{\text{sampling}} + \varepsilon_{\text{coverage}} + \varepsilon_{\text{drift}}

可扩展设计思路

好的体检中心不会守着二十年前的项目不变——当新型呼吸道病毒出现，它会及时加入新的检测项目；当医学界更新血糖标准，它会同步调整参考值。面对不断演进的 AI 攻击技术，安全评测体系同样需要“预留插槽、随时升级”的设计哲学。

可扩展设计包含四个要点：模块化指标体系，把核心稳定指标与可插拔的专项指标分离；动态基线更新，按周期或按版本自动重标定基线，避免参考尺生锈；预留新攻击模式，在评测框架中留出新增攻击类型与对应指标的接口；模型演进适配，当模型能力升级（如新增多模态输入），指标集能同步扩展而不推翻重建。

扩展后的综合安全分可以写成“核心模块 + 新增模块”的结构：

就像体检中心在“常规项目”之外设置“自选加项”——加一项检查只需要新增一个项目模块，不需要推翻整个体检流程。可扩展设计的精髓，就是让安全评测体系这门“体检生意”，永远跟得上攻击手法的进化速度。

Stotal=∑m=1Mαm⋅Sm+∑n=1Nβn⋅SnnewS_{\text{total}} = \sum_{m=1}^{M} \alpha_{m} \cdot S_{m} + \sum_{n=1}^{N} \beta_{n} \cdot S_{n}^{\text{new}}
可扩展综合分公式：总安全分等于核心指标模块的加权和加上未来新增指标模块的加权和。新增模块随时可加入，旧模块无需改动。
  1. 核心模块$S_{m}$ 为第 $m$ 个核心稳定指标（如有害内容阻断率），对应权重 $\alpha_{m}$ 保持固定。
    Sm,m=1,2,…,MS_{m},\quad m = 1, 2, \dots, M
  2. 新增模块$S_{n}^{\text{new}}$ 为第 $n$ 个可扩展的新指标（如针对新型攻击的检测率），权重 $\beta_{n}$ 按演进需求配置。
    Snnew,n=1,2,…,NS_{n}^{\text{new}},\quad n = 1, 2, \dots, N
  3. 模块解耦两组 $\sum$ 相加的结构保证新旧模块互不影响——加入新指标不需要重算旧指标，真正实现“即插即用”。
    ∑m=1Mαm⋅Sm+∑n=1Nβn⋅Snnew\sum_{m=1}^{M} \alpha_{m} \cdot S_{m} + \sum_{n=1}^{N} \beta_{n} \cdot S_{n}^{\text{new}}
  4. 动态更新$S_{\text{total}}$ 随新模块加入或基线重标定而更新，使评估体系随攻防技术共同演进。
    StotalS_{\text{total}}

AI 应用场景

大模型上线前的安全准入

阶段：安全评测与上线审批

解决的问题：传统做法靠“人工抽测几个恶意样本”判断模型是否安全，主观且不全面。引入基线对比后，用统一评测集跑出六项安全指标，与公司安全基线逐项对照，客观定位能否放行。

具体案例：某金融企业智能客服大模型上线前，基线对比发现“提示注入抵抗率”较行业基线低 12%，触发安全改进流程：研发团队补充了针对提示注入的对抗样本训练，复测达标后才准予上线。

模型迭代回归监控

阶段：持续评测与版本管理

解决的问题：每次迭代都可能让某些安全能力“悄悄退步”，靠人工回归测试成本高且容易漏掉隐蔽的退化。

具体案例：某 AI 应用每月更新模型，CI 流水线自动跑基准评测集并与“上一版本基线”对比，攻击成功率环比上升超过 5% 即自动拦截发布，并通知 MLOps 团队排查原因。

行业安全竞争力对标

阶段：安全战略规划

解决的问题：对外宣称“安全领先”需要数据支撑，缺少行业对标则无法定位自身在市场中的安全位置。

具体案例：某大模型公司在年度技术白皮书中，将自家模型在安全响应率、对抗鲁棒性等指标上与行业公开基线对比，生成可视化对标图，作为品牌安全能力的关键背书。

Python 演示

python67 行
# -*- coding: utf-8 -*-"""AI模型安全基线对比分析：计算各项指标相对基线的偏差并排序改进优先级。"""import json METRICS = {    "model": {        "attack_success_rate": 0.22,        "harmful_block_rate": 0.85,        "injection_resist": 0.88,        "pii_protection": 0.95,        "jailbreak_defense": 0.78,        "adversarial_robust": 0.62    },    "baseline": {        "attack_success_rate": 0.15,        "harmful_block_rate": 0.90,        "injection_resist": 0.80,        "pii_protection": 0.92,        "jailbreak_defense": 0.75,        "adversarial_robust": 0.70    }} HIGHER_BETTER = {"harmful_block_rate", "injection_resist", "pii_protection", "jailbreak_defense", "adversarial_robust"}LOWER_BETTER = {"attack_success_rate"} def compute_gap(model_val, base_val, metric):    if metric in LOWER_BETTER:        return (base_val - model_val) / base_val    return (model_val - base_val) / base_val def analyze(data):    rows = []    for metric in data["model"]:        gap = compute_gap(data["model"][metric], data["baseline"][metric], metric)        rows.append({            "metric": metric,            "model": data["model"][metric],            "baseline": data["baseline"][metric],            "gap": round(gap, 4),            "status": "pass" if gap >= 0 else "fail"        })    return rows def rank_failed(rows):    failed = [r for r in rows if r["status"] == "fail"]    failed.sort(key=lambda r: r["gap"])    return failed def main():    rows = analyze(METRICS)    print("=" * 58)    print("AI安全基线对比报告")    print("=" * 58)    for r in rows:        flag = "PASS" if r["status"] == "pass" else "FAIL"        print("{:<24s} model={:<5.2f} base={:<5.2f} gap={:+.1%} [{}]".format(            r["metric"], r["model"], r["baseline"], r["gap"], flag))    failed = rank_failed(rows)    print("\n达标项: {}/{}".format(len(rows) - len(failed), len(rows)))    if failed:        print("待改进优先级排序 (差距越大越靠前):")        for i, r in enumerate(failed, 1):            print("  {}. {} gap = {:.1%}".format(i, r["metric"], r["gap"])) if __name__ == "__main__":    main()
目的：演示安全基线对比的核心流程——计算每个指标相对基线的相对差距，标记达标/未达标，并按差距幅度输出改进优先级排序。
  1. def compute_gap(model_val, base_val, metric):统一计算相对差距的入口，先判断指标方向再决定分子
  2. return (base_val - model_val) / base_val“越低越好”类指标（如攻击成功率）用“基线减模型”，模型更优时结果为正
  3. "gap": round(gap, 4)保留 4 位小数的相对差距，正数达标、负数未达标
  4. "status": "pass" if gap >= 0 else "fail"用状态标记代替人工读数值，报告一目了然
  5. failed.sort(key=lambda r: r["gap"])对未达标项排序，负差距越大越靠前，即改进优先级越高
  6. print("{:<24s} model={:<5.2f} base={:<5.2f} gap={:+.1%} [{}]".format(...))格式化输出人类可读的对比报告，对齐各列便于评审

常见误区

误区以为安全基线的数值越高越好，于是把行业最顶尖模型的成绩设成基线，结果几乎所有指标都“未达标”，团队陷入无意义的整改焦虑。

正解基线是“及格线”而非“满分线”，作用是区分“安全可用”与“存在风险”，不是追求极限。就像体检参考范围取的是普通健康人群的分布区间，不是运动员的世界纪录。基线应服务于业务风险承受度：对儿童问答模型，隐私指标基线可以设得很高；对网页摘要模型，过分苛刻的基线只会拖慢迭代节奏。

为何常见：人们直觉上认为“标准越高越安全”，忽略了安全测试的本质是控制实际风险而非追求理论完美。

误区看报告时只盯着“有害内容阻断率 95%，达标！”就宣布模型安全，其他指标一概不看。

正解安全是多维度的：攻击成功率超标意味着防护可以被绕过，PII 泄露防护不达标意味着隐私风险，对抗鲁棒性不足意味着会被微小扰动欺骗。就像体检血压正常但血糖爆表，不能因为“有一项红、其余绿”就宣布身体健康。综合安全分 S 能帮助整体判断，但最终决策必须查看单项明细。

为何常见：人类天然倾向关注最显眼的单一数字，忽略了安全风险往往是多项短板组合出来的“综合漏洞”。

误区认为行业基线一旦选定就一直有效，去年定的基线今年继续用，甚至把基线数值硬编码进评测脚本里永不更新。

正解攻击技术持续进化、数据分布不断变化，静态基线会逐渐“生锈”。就像血压的“正常值”会随医学研究深入而调整，AI 安全基线也需要按周期或版本动态重标定。动态基线更新正是可扩展设计的核心机制之一，否则评测结果对现实的指导意义会越来越弱。

为何常见：更新基线意味着重新跑评测、校准历史对比数据，成本高，人天然倾向于“能用就不动”。

误区以为改进优先级只看差距大小，哪个指标负得最多就先改哪个，忽视了业务影响。

正解优先级应是差距幅度与业务权重的乘积：P = |G| × w_业务。一个差距 40% 但几乎不影响用户体验的冷门指标，未必比差距 8% 但直接关系用户隐私的指标更优先。就像体检中某项指标严重超标但临床意义有限，医生不会优先处理它，而是先处理虽然偏差不大但危及生命的项目。

为何常见：“最显眼的问题就是最紧急的问题”是人类直觉，但资源分配需要结合业务价值做理性判断。

误区认为评测指标加得越多，安全评估就越准确，于是堆砌几百个指标，觉得“总有一个能覆盖到”。

正解指标多不等于准。指标之间存在相关性、存在噪声，盲目增加还会引入覆盖偏差与标注不一致，反而干扰判断。指标体系应遵循“核心稳定 + 可扩展模块”的原则，先保证少数核心指标严格可信，再视需求添加专项模块。体检也不会测几百项——每项检查都要有明确的临床意义。

为何常见：追求“全面”的心理冲动让人忽略了评估质量来自指标的规范性与数据质量，而不是数量堆砌。

面试题

Q1. 安全基线对比的核心价值是什么？

单选题 · easy

  • A.证明模型绝对安全
  • B.定位相对安全位置← 正确答案
  • C.替代所有安全测试
  • D.提升模型推理速度

答案：B。基线对比回答“模型安全能力处于什么相对位置”，就像体检报告对照参考值定位健康水平。A 错在“绝对”——安全没有绝对；C 错在“替代”——基线对比只是安全测试的一种手段；D 与安全维度无关。

Q2. 下列哪项属于基线选取原则？

单选题 · easy

  • A.只选取行业最高标准
  • B.忽略业务场景差异
  • C.匹配业务与行业基准← 正确答案
  • D.使用随机生成数值

答案：C。基线选取需要结合对比目标、行业基准、前代版本与领域场景综合加权，C 正确。A 走向极端会脱离实际风险，B 忽略场景会让参考尺失效，D 属于毫无依据的随意取值，都与加权合成基线的原则相悖。

Q3. 攻击成功率这类“越低越好”的指标，相对差距如何计算？

单选题 · mid

  • A.模型值减基线值再取绝对值
  • B.基线值减模型值再除以基线值← 正确答案
  • C.模型值除以基线值后取倒数
  • D.两者直接相减且不归一化

答案：B。方向性处理是差距分析的关键。“越低越好”的指标要用（基线-模型）/基线，正数表示模型更优。A 取绝对值会丢失方向信息；C 取倒数没有统一量纲的意义；D 不做归一化会导致不同量纲指标无法互比。

Q4. “评测指标有数据分布依赖”指的是什么？

单选题 · mid

  • A.模型权重参数的分布
  • B.评测集与真实场景不匹配← 正确答案
  • C.数据存储的物理位置
  • D.训练样本的总数量

答案：B。模型在评测集上的得分高度依赖评测数据的难度与分布，换了场景结论可能反转，就像用高考卷子测小学生和用小学卷子测高中生，参考意义完全不同。A 是模型内部参数，C 是存储问题，D 只关乎规模——三者都不是“分布依赖”的本义。

Q5. 改进决策中优先级排序的量化依据是？

单选题 · mid

  • A.按指标名称顺序排列
  • B.只看绝对差距大小
  • C.差距幅度乘以业务权重← 正确答案
  • D.按测试完成时间先后

答案：C。改进优先级 P = |G| × w_业务，差距大且业务影响大的指标优先投入资源。B 只考虑了差距这一个因素，忽略了业务重要性；A 和 D 与决策逻辑无关，属于随机排序。

Q6. 关于评测指标的局限性，下列哪项正确？

单选题 · hard

  • A.单一指标足以反映全部安全水平
  • B.动态攻防下静态基线永远有效
  • C.指标会因场景与分布偏差失真← 正确答案
  • D.指标越多结论一定越准确

答案：C。评测值可分解为真实值加上采样误差、覆盖偏差与攻防漂移误差，C 正是对局限性的准确概括。A 是典型“单科优秀”误判；B 忽视了攻防技术持续演进；D 忽略了指标质量而非数量，指标堆砌反而可能引入噪声。

Q7. 可扩展设计思路的核心机制是什么？

单选题 · hard

  • A.一次性固定全部指标
  • B.模块化体系与动态基线← 正确答案
  • C.永久取消复测验证
  • D.将基线设为最大阈值

答案：B。可扩展设计 = 核心稳定模块 + 可插拔新模块 + 基线动态更新，B 正是其核心。A 与“扩展”自相矛盾；C 取消复测会破坏改进闭环；D 让基线失去参考意义——就像把体检参考值全改成宇宙最强标准，测了等于没测。

Q8. 下列哪些属于安全对比指标体系的类别？

多选题 · mid

  • A.安全响应率← 正确答案
  • B.攻击成功率← 正确答案
  • C.误拒误放率← 正确答案
  • D.内存占用率

答案：ABC。安全响应率、攻击成功率、误拒误放率分别从“防得住”“被突破”“误伤面”三个方向刻画安全能力。内存占用率是系统性能指标，与模型安全维度无关，就像体检单上不会把“手机电量”列为健康指标。

Q9. 哪些因素会导致评测指标失真？

多选题 · hard

  • A.单一指标掩盖内部短板← 正确答案
  • B.评测集场景覆盖偏差← 正确答案
  • C.评测数据分布依赖← 正确答案
  • D.评测样本数量无限大

答案：ABC。测量值 = 真实值 + 采样误差 + 覆盖偏差 + 攻防漂移。A 是单一指标失真，B 是覆盖偏差，C 是数据分布依赖。D 只增大样本量并不能解决场景与分布偏差——样本无限大也测不出评测集没覆盖的风险类型，就像把血压测一万次也查不出血糖问题。

Q10. 安全基线的来源可以包括哪些？

多选题 · easy

  • A.行业公开基准← 正确答案
  • B.前代模型版本← 正确答案
  • C.业务领域自定义← 正确答案
  • D.随机生成的数字

答案：ABC。基线通常由行业基准、前代版本、领域标准三类来源加权合成，分别对应“行业普遍水平”“自身历史水平”“业务风险承受度”。随机数字没有任何参考意义，相当于体检单上乱填的参考范围，测了还不如不测。