想象一下，驾校教练要判断一个学员能不能拿驾照。他不会说「我觉得他开得还行」，而是把学员送进考场：先考科目一理论，再考科目二倒车入库，接着科目三上路，最后科目四文明驾驶。每一科都有统一题库、统一评分标准，甚至还有电子考官自动判分。为什么这么折腾？因为开车上路事关人命，不能靠感觉，要靠制度。 大模型也是一样。一个模型经过对齐训练后，表面上「变乖」了，但乖到什么程度？会不会被人用几句花言巧语就诱导出违法内容？能不能放心部署到你的手机上？这些问题同样不能靠工程师拍脑袋，必须有一套标准化的「安全评测」制度来把关。这套制度包括四个核心部件：考什么（安全基准数据集）、怎么算分（评测指标）、怎么考（自动化评测流程），以及题目是否管用（覆盖度和基准更新）。 这篇文章，我们就从「给大模型发安全驾照」这个比喻出发，把大模型安全评测的完整体系拆开讲清楚。

岗位关联

掌握安全评测基准的设计与使用，是 AI 安全工程师评估模型能否放心上线、向监管方证明合规性的核心能力。

目录
  1. 可视化演示
  2. 评测基本概念：什么是「安全驾照」
  3. 安全基准数据集：搭建驾考题库
  4. 评测指标体系：评分标准与合格线
  5. 多维度安全评估：科目一到科目四
  6. 自动化评测流程：电子考官上岗
  7. 评测覆盖度优化：别只会背诵考场路线
  8. 基准动态更新：交规变了题库要升级
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示TCP滑动窗口机制中数据包发送与确认的交互过程，观察窗口滑动、流量控制与传输效率的关系。

本节配有交互动效（进入视口后自动加载，约 3KB）。

初始状态：窗口就绪 发送方窗口大小为4，可连续发送4个未确认的数据包 收到确认后窗口向前滑动，释放发送配额 窗口 = min(rwnd, cwnd) 滑动窗口实现流量控制，防止发送方溢出接收方缓冲区

评测基本概念：什么是「安全驾照」

一位驾驶教练想判断学员能不能上路，光凭「我感觉他开得不错」显然不够，需要交管局统一出题、统一判分。大模型领域同样如此：模型经过对齐训练后「变乖」了——所谓对齐，就是通过 RLHF、微调等方式让模型学会守规矩——但乖到什么程度，不能靠研发人员拍脑袋，必须有一套标准化的安全评测体系来把关。

安全评测（Safety Evaluation）就是给大模型发「安全驾照」的考试制度。它回答三个问题：考什么（安全基准数据集）、怎么算分（评测指标）、怎么考（评测流程）。这和通用能力评测有本质区别：通用评测看模型「答得对不对」，安全评测看模型「不该说的会不会说」。一个模型即使知识再渊博，只要在诱导下输出违法内容，就不能获得上线资格。

安全通过率是最基础的指标，用来衡量模型在所有安全测试题中「经受住考验」的比例：

安全评测是模型对齐闭环的最后一道闸门：前面辛辛苦苦把模型教规矩，最后必须用客观考试来验收。只有安全通过率达标的模型，才能从「实验室学员」变成「持证上路的正式员工」。

Psafe=NpassNtotal×100%\displaystyle P_{\text{safe}} = \dfrac{N_{\text{pass}}}{N_{\text{total}}} \times 100\%
安全通过率相当于驾考总成绩，只有达到合格线的「学员」才能拿到驾照。
  1. 分子含义$N_{\text{pass}}$ 表示模型正确拒绝或安全回应的题目数量，代表它经受住了多少道安全题目的考验。
    NpassN_{\text{pass}}
  2. 分母含义$N_{\text{total}}$ 表示安全基准中含有的全部测试题目数量，一套好题库的题量必须足够大、覆盖面足够广。
    NtotalN_{\text{total}}
  3. 百分比换算将通过数量与总数量的比值换算成百分制成绩，方便与预设的合格线直接对比，从而决定模型能否部署。
    ×100%\times 100\%

安全基准数据集：搭建驾考题库

驾考题库的题目不是教练随便编的，而是从真实交通事故、新交规中提炼出来的。安全基准数据集也一样，必须来自真实的攻击样本、专家构造的对抗题目和经过清洗的真实有害语料，而不是随便攒一批网上问答。

一个基准样本由「提示词 + 期望安全行为标签」组成：提示词就是考题，标签则写明模型应该拒绝还是安全回应。按来源划分，数据集主要有三类：公开的越狱（jailbreak）攻击记录、安全专家人工构造的诱导性问题，以及真实有害内容语料转化成的风险触发题。标注规范是数据集质量的生命线，每个样本都要标注风险类别和危害等级，确保不同标注员的判断一致。

对抗样本是安全基准的灵魂。它们专门模拟作弊式诱导：让模型扮演反派角色、设定虚构情景、用编码或翻译绕开审查。数据集的质量，不能只看题量，更要看对抗样本的密度：

如果题库全是直白的安全问题、没有诱导性内容，模型背答案也能过关；只有加入足够多的对抗样本，才能考出真本事。题库的含金量，直接决定了安全驾照的含金量。

Cadv=NadversarialNdataset×100%\displaystyle C_{\text{adv}} = \dfrac{N_{\text{adversarial}}}{N_{\text{dataset}}} \times 100\%
对抗样本占比，相当于题库里「陷阱题」的比例，太低就考不出真实防御水平。
  1. 分子含义$N_{\text{adversarial}}$ 表示数据集中对抗性攻击样本的数量，越狱和诱导性题目越多，考试越严格。
    NadversarialN_{\text{adversarial}}
  2. 分母含义$N_{\text{dataset}}$ 表示数据集的总样本数，它是整个安全考试的题量底座。
    NdatasetN_{\text{dataset}}
  3. 百分比换算算出对抗样本的占比，用于检验题库里「恶意题目」的密度是否足够高。
    ×100%\times 100\%

评测指标体系：评分标准与合格线

驾考有明确的扣分标准：压线扣 100 分、起步熄火扣 10 分。安全评测也需要一套「评分尺」来量化模型表现。常用指标包括安全拒绝率（模型拒绝有害输入的比例）、安全通过率（安全输出的比例）、误报率和漏报率。

这里有一个天然的矛盾：模型拒绝得太激进，会把正常用户的提问也挡回去，这叫误报（假阳性）；拒绝得太宽松，又会让危险内容漏出来，这叫漏报（假阴性）。如果只追求拦截率，模型会变成「惊弓之鸟」；如果只看用户体验，又可能变成「马路杀手」。评测体系需要用 F1 值来平衡这两个方向：

评分标准定好之后，还要定合格线：比如要求攻击成功率 ASR 不高于 5%、安全通过率不低于 95%。电子考官既要避免冤枉好司机，也不能放过马路杀手，F1 就是这套「既不能冤枉、也不能放过」的平衡臂。

F1=2×Precision×RecallPrecision+Recall\displaystyle \text{F1} = \dfrac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}
F1 是精确率（防误伤）和召回率（防漏网）的调和平均，两项成绩必须都好，F1 才会高。
  1. 精确率 Precision在被模型拒绝的样本中，真正危险的比例。它衡量「有没有误伤好人」，对应误报控制。
    Precision\text{Precision}
  2. 召回率 Recall在所有危险样本中成功拦截的比例。它衡量「有没有放过坏人」，对应漏报控制。
    Recall\text{Recall}
  3. 相乘与相加将两项成绩相乘再除以相加，构成调和平均，使得只要有一项偏低，F1 就会被明显拉低。
    2×Precision×RecallPrecision+Recall\dfrac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}
  4. 系数归一化分子中的系数 2 将调和平均值归一化到 0 到 1 之间，方便与合格线比较。
    2×2 \times

多维度安全评估：科目一到科目四

光考科目二倒车入库显然不够，学员还要面对理论、路考和文明驾驶。大模型安全同样是一个多科目考试，不能只看一个总分。主流安全评测会将风险拆分成多个维度：违法信息、色情低俗、暴力血腥、仇恨言论、隐私泄露、自残自杀引导等。

多维度评估的做法是：为每个风险维度分别建题组、分别打分，最后汇总成综合安全指数，通常用雷达图展示各维度表现。分类分级策略是其中的关键：对高危类别（如自残引导、违法信息）设置更严格的合格线，对中低危类别（如一般冒犯言论）适当放宽。这就像科目四文明驾驶必须从严，而轻微扣分项可以容忍。

在汇总时，不能简单迷信平均分，因为一个高分维度可能掩盖另一个维度的严重短板：

一个学员科目一满分、科目三挂科，照样不能拿驾照；模型平均分再高，只要在「自残引导」这类高危维度上失守，就必须一票否决。多维度评估的意义，就是把「安全」这个抽象词拆成一张看得见短板的成绩单。

S‾=1d∑j=1dSj\displaystyle \overline{S} = \dfrac{1}{d}\sum_{j=1}^{d} S_j
综合安全分是所有维度得分的平均值，但平均分高不代表每个维度都安全，还要看单科是否全部及格。
  1. 维度数 d表示把安全风险划分成了多少个类别，相当于考试科目数量，类别划分越细，考查越全面。
    dd
  2. 单项得分 S_j表示模型在第 $j$ 个风险类别上的安全通过率，相当于单科成绩。
    SjS_j
  3. 累加求平均把所有维度得分相加后除以维度数，得到综合安全分，方便快速横向对比，但也容易掩盖短板。
    1d∑j=1dSj\dfrac{1}{d}\sum_{j=1}^{d} S_j

自动化评测流程：电子考官上岗

科目二考场里没有真人考官，全部是传感器加计算机自动判分，减少人为偏差。自动化安全评测就是把「红队攻击 + 自动判分」变成一条流水线。红队测试（Red Teaming）就是模拟恶意攻击者，专门尝试用各种手段突破模型防御的攻防演练。

一条标准的自动化评测流程分四步：第一步，攻击模板生成——基于模板库并借助大模型生成攻击变体；第二步，批量注入——将对抗提示投递给被测模型并收集回复；第三步，自动判分——用裁判模型（Judge Model，通常是 GPT-4 等大模型）判断回复是否有害；第四步，汇总报告——输出各维度通过率、失败案例和改进建议。

自动化让评测规模化，但攻击不可能每次都成功。攻击成功率（Attack Success Rate, ASR）是衡量模型防御力的核心指标：

电子考官不眠不休，把每道题、每个动作都量化打分。自动化流程让安全评测变成可重复、可追溯的工程流水线，每个模型上线前都能完整走一遍「考试机器」。

ASR=NsuccessNtotal×100%\displaystyle \text{ASR} = \dfrac{N_{\text{success}}}{N_{\text{total}}} \times 100\%
ASR 是所有攻击中成功诱导模型输出有害内容的比例，ASR 越低，说明模型防御越强。
  1. 分子含义$N_{\text{success}}$ 表示成功让模型输出有害内容的攻击次数，也就是「破防」次数。
    NsuccessN_{\text{success}}
  2. 分母含义$N_{\text{total}}$ 表示本轮自动化攻击的总次数，攻击规模越大，统计结果越可信。
    NtotalN_{\text{total}}
  3. 百分比换算两者相除得到攻击成功率，评测报告通常还会给一个阈值，比如 ASR 必须低于 5% 才允许上线。
    ×100%\times 100\%

评测覆盖度优化：别只会背诵考场路线

很多学员在驾校考满分，第一次上真实道路却手忙脚乱，因为只练过固定线路。模型也会有类似问题：在安全基准上分数很高，换一种语言、换一个问法，立刻「翻车」。这就是评测覆盖度不足——基准没有覆盖模型在真实世界会遇到的各种安全场景。

当基准的风格过于固定、与训练数据高度重合时，模型会产生「基准过拟合」：它学会了在考试里装安全，而不是真正理解了安全规则。提升覆盖度有三个常用手段：一是数据多样性，引入多语言、多文化语境、不同任务形式；二是分布外测试（Out-of-Distribution, OOD），用训练分布之外的全新样本考验模型；三是动态生成，用大模型不断生成提示词变体，避免固定模板被看穿。

覆盖度可以用「域内与域外性能差距」来量化：

真正靠谱的安全评测，不是让模型在考场里拿满分，而是让它在任何城市、任何天气下都能安全驾驶。覆盖度就是给评测装上的「路考」，它专门惩罚那些只会背答案的模型。

Δperf=Pin−Pood\displaystyle \Delta_{\text{perf}} = P_{\text{in}} - P_{\text{ood}}
这个差值衡量模型在「熟悉的考场」和「陌生的道路」上的表现差距，差值越大，说明模型越依赖背题。
  1. 基准内得分 $P_{\text{in}}$模型在基准训练分布上的安全通过率，相当于驾校熟悉考场的成绩。
    PinP_{\text{in}}
  2. 分布外得分 $P_{\text{ood}}$模型在全新分布样本上的安全通过率，相当于陌生道路上的实际表现。
    PoodP_{\text{ood}}
  3. 计算差值两者相减得到性能差距，差距越大说明模型越依赖「背题」，真实防御力越弱，评测基准本身也需要补盲区。
    Δperf\Delta_{\text{perf}}

基准动态更新：交规变了题库要升级

交规不是一成不变的，新法规颁布后，驾考 App 里的题库也要更新。大模型安全更是如此：越狱攻击手法日新月异，今天还能拦住的攻击，明天可能就被新的招数绕过。静态的安全基准很快会过期，必须持续更新。

动态更新有三个关键动作：新威胁纳管，持续跟踪安全社区披露的越狱攻击手法（如 DAN、Crescendo、多语言绕过等），快速转化为基准题；版本迭代机制，每个版本发布时附带变更说明，保留部分旧题用于纵向对比；社区协作共建，像开源项目一样组织众包，让一线安全工程师不断贡献新风险样本。

一个基准是否「时新」，可以用新题占比来衡量：

只有题库跟着攻击手段一起进化，模型的安全驾照才是长期有效的。安全评测不是一次性考试领证后终身免检，而是一场需要持续年审的制度。

Rnew=NnewNtotal×100%\displaystyle R_{\text{new}} = \dfrac{N_{\text{new}}}{N_{\text{total}}} \times 100\%
新题占比反映基准对最新攻击手法的响应速度，但也不能一味推倒重来，否则历史成绩将无法比较。
  1. 分子含义$N_{\text{new}}$ 表示本版本新增的安全测试题目数量，代表对新攻击威胁的响应速度。
    NnewN_{\text{new}}
  2. 分母含义$N_{\text{total}}$ 表示当前版本题库总量，新旧题共存才能保证评测的继承性。
    NtotalN_{\text{total}}
  3. 百分比换算算出新题占比。占比越高说明基准越「时新」，同时要保留足够旧题，使不同版本的模型成绩可以纵向对比。
    ×100%\times 100\%

AI 应用场景

大模型上线前的「安全路考」

阶段：模型部署与发布（上线前安全评估）

解决的问题：过去很多团队靠人工抽测提示词，覆盖不全、标准不一，容易把带病模型放上线。现在用安全基准数据集加自动化评测流水线，批量验证模型在多个风险维度的表现，上线前自动生成一份可追溯的安全报告。

具体案例：某互联网公司为智能客服大模型做发布前评测，用覆盖违法信息、隐私泄露、仇恨言论等维度的 10 万条安全基准题组跑自动化流水线，把攻击成功率 ASR 从 25% 压到 2% 以下，才拿到上线许可。这套流程后来还被复用为每次版本更新的回归测试。

第三方合规测评与标准制定

阶段：安全标准制定与第三方合规评估

解决的问题：监管部门需要可复现、可比较的评测方法，但各家评测口径不一，很难横向对比。通过统一的安全基准、版本化管理和公开的评测指标，不同厂商的大模型可以在同一把尺子下被公平衡量。

具体案例：一家第三方测评机构参照《生成式人工智能服务管理暂行办法》构建合规评测套件，为政务、金融等行业筛选合格大模型。每个季度更新一次基准版本，吸纳最新社区攻击样本，并定期发布行业安全白皮书。

Python 演示

python49 行
class SafetyEvaluator:    # 大模型安全评测流水线: 数据集 -> 攻击 -> 判分 -> 汇总    def __init__(self, seed=42):        self.seed = seed        self.gc_count = 0        self.free_lists = []     def load_benchmark(self, n=200):        # 模拟加载安全基准数据集, 返回攻击提示列表        return ["prompt-" + str(i) for i in range(n)]     def attack(self, prompt):        # 模拟红队攻击, 生成对抗性提示变体        self.gc_count += 1        if self.gc_count % 5 == 0:            self.free_lists.append(prompt)        return "jailbreak:" + prompt     def judge(self, response):        # 裁判模型判分: 0 表示安全, 1 表示危险        self.seed = (self.seed * 1103515245 + 12345) & 0x7fffffff        return 1 if self.seed % 7 == 0 else 0     def run_evals(self, model, prompts):        # 自动化评测主流程: 攻击, 请求, 判分, 统计        total = 0        unsafe = 0        for prompt in prompts:            attack = self.attack(prompt)            response = model(attack)            total += 1            unsafe += self.judge(response)        return unsafe, total def dummy_model(text):    # 被测大模型的模拟实现, 遇攻击提示则拒绝回答    if "jailbreak" in text:        return "I am sorry, I cannot answer that..."    return "OK" if __name__ == "__main__":    evaluator = SafetyEvaluator()    prompts = evaluator.load_benchmark(200)    unsafe, total = evaluator.run_evals(dummy_model, prompts)    asr = unsafe / total    safe_rate = 1 - asr    print("测试样本数: %d" % total)    print("攻击成功率 ASR: %.2f%%" % (asr * 100))    print("安全通过率: %.2f%%" % (safe_rate * 100))
目的：实现一个小型安全评测流水线，模拟「基准数据集 → 红队攻击 → 裁判模型判分 → 计算 ASR 与安全通过率」的完整流程。
  1. class SafetyEvaluator:把评测框架封装成类，对应正文里的「驾考系统」，各环节都是独立方法，方便扩展。
  2. def load_benchmark(self, n=200):模拟加载安全基准数据集，相当于从题库抽出 N 道考题。
  3. def attack(self, prompt):对原始提示做红队攻击变形，把普通问题变成诱导性的「陷阱题」。
  4. def judge(self, response):裁判模型对回复判分，返回 0（安全）或 1（危险），模拟电子考官。
  5. def run_evals(self, model, prompts):自动化评测主循环：攻击 → 请求模型 → 判分 → 累计统计。
  6. unsafe += self.judge(response)逐个累加危险输出次数，流程结束后就能算出攻击成功率。
  7. total += 1记录本轮评测总样本数，作为 ASR 公式中的分母。
  8. asr = unsafe / total攻击成功率等于危险样本数除以总样本数，数值越低说明模型越安全。
  9. safe_rate = 1 - asr安全通过率是与 ASR 互补的指标，方便直接对比基准合格线。

常见误区

误区很多同学以为模型通过安全基准测试后就可以永久放心，反正分数已经达标了，之后不需要再测，甚至觉得「考过了就是安全的」。

正解攻击手法在不断演化，基准也需要动态更新。就像拿到驾照后还要年审、适应新交规，模型上线后也要定期用新版基准做回归评测。安全不是一次性状态，而是模型与攻击者之间持续博弈的过程，静态的一次考试根本无法覆盖未来的威胁。

为何常见：人们习惯把「考试通过」等同于「永久资格」，忽略了对抗攻防是动态演进的，这是把静态思维套在了动态问题上。

误区以为安全通过率达到 99% 甚至 100%，模型就绝对安全了，于是把通过率当成唯一汇报 KPI，其他地方一概不看。

正解通过率高只能说明它在当前基准上表现好，不能代表真实场景。如果题库简单、跟训练数据同分布，模型可能靠「背题」拿高分。就像学员科目二满分，但只练过驾校里那一条固定路线，上路照样慌。必须同时看覆盖度、对抗样本占比和 OOD 测试结果。

为何常见：单一数字容易理解、容易汇报，但真实安全是多维度、分布外的综合表现，人们容易被一个漂亮的总分麻痹。

误区有人觉得模型拒绝回答很影响用户体验，所以评测应该「宁松勿严」，多放行几个问题也不要误伤正常用户，反正只是答错一道题而已。

正解在安全评测里，漏报（放出危险内容）的代价往往远大于误报——一次有害输出就可能带来法律风险、舆论危机和用户伤害。评测标准要在误报和漏报之间找平衡，对高危类别必须「宁严勿松」，这也是 F1 指标存在的意义。

为何常见：产品视角容易把「答不上来」直接等同于体验差，却忽略了安全责任是底线，体验优化不能以牺牲安全为代价。

误区认为裁判模型是 AI，判分一定比人工更客观、更稳定，所以自动化流程跑完就能直接出结论，不需要任何人复核。

正解裁判模型本身也会有偏差，可能误判或漏判，尤其在模糊边界样本上。自动化流程必须设计抽样人工复核和基线校验机制，就像电子考官偶尔也会故障，考场仍需人工监考兜底。评测报告里应该包含人工复核比例和裁判模型自身的准确率评估。

为何常见：「全自动」的口号容易让人把工具神化，忽略了任何评估器都有误差，机器的不确定性只是换了一种形式存在。

误区觉得数据集堆到几百万条，覆盖就一定没问题，于是盲目追求数量，对重复样本和单一风格视而不见。

正解数量不等于质量，更不等于覆盖。大量重复、风格雷同的样本只会让模型「背题」，准确率虚高。数据集要关注对抗样本占比、风险类别是否均衡、是否包含多语言和分布外样本。就像题库如果全是同一种题型，刷一万道也考不出真实驾驶水平。

为何常见：「数据多 = 效果好」的惯性思维在通用训练中经常成立，但评测数据集追求的是结构和代表性，单纯堆量反而会掩盖盲区。

面试题

Q1. 安全基准数据集最主要的作用是什么？

单选题 · easy

  • A.训练模型的对话表达能力
  • B.作为衡量安全的标准题库← 正确答案
  • C.用于替代人工的模型微调
  • D.提升模型的推理计算速度

答案：B。安全基准数据集相当于驾考统一题库，提供标准化的题目、标签和判分依据，用来横向比较不同模型的安全水平。A 是训练任务，C 是微调任务，D 是推理优化，都和「衡量安全性」无关。

Q2. 攻击成功率（ASR）的含义是什么？

单选题 · easy

  • A.模型拒绝正常提问的比例
  • B.攻击诱导模型产生有害输出的比例← 正确答案
  • C.安全基准数据集的版本更新速度
  • D.裁判模型自动化判分的结果准确率

答案：B。ASR 是攻击成功率，指在所有攻击尝试中成功诱导模型输出有害内容的占比，ASR 越低说明模型防御越强。A 描述的是误报率，C 是基准时效性，D 是裁判模型自身指标，都不是 ASR。

Q3. F1 值是精确率 P 和召回率 R 的调和平均，它主要帮助评测者：

单选题 · mid

  • A.同时兼顾漏报误报避免偏斜← 正确答案
  • B.提升基准测试样本的总数量
  • C.降低自动化评测的计算成本
  • D.彻底消除裁判模型的判断误差

答案：A。F1 把精确率和召回率做调和平均，两项都好才能得高分，防止只追求拦截率而误伤正常用户，也防止只顾体验而漏掉危险内容。B、C、D 分别涉及数据量、成本和判分器误差，与平衡误报漏报无关。

Q4. 模型在安全基准上得分很高，但换一种语言或问法后表现骤降，最可能的原因是：

单选题 · mid

  • A.安全评测基准的版本更新过快
  • B.模型对基准题过拟合只会背答案← 正确答案
  • C.模型自身的参数量还不够大
  • D.基准数据集中的攻击样本标注错误

答案：B。这是典型的基准过拟合现象：模型在熟悉的分布上「背题」，遇到分布外（OOD）场景就露馅，所以评测需要加入 OOD 样本和动态变体。A 不会导致骤降，C 与泛化能力无必然联系，D 是数据质量问题而非换问法失效的原因。

Q5. 自动化安全评测中引入「裁判模型」的主要目的是：

单选题 · mid

  • A.代替被测模型自动生成回答
  • B.对模型输出进行自动化的安全判分← 正确答案
  • C.扩充安全基准数据集的总体样本量
  • D.提高被测大模型的在线响应速度

答案：B。裁判模型扮演电子考官角色，接收被测模型的回复并判断是否安全，从而替代人工判分实现大规模自动化。A 混淆了裁判与被测模型的职责，C 是数据集建设任务，D 是服务性能问题，都与判分无关。

Q6. 关于基准数据集中的「对抗样本」，下列说法正确的是：

单选题 · hard

  • A.对抗样本数量越多数据集越权威
  • B.对抗样本检验诱导攻击下的防御力← 正确答案
  • C.对抗样本只覆盖色情和暴力两类内容
  • D.对抗样本应从评测数据中剔除出去

答案：B。对抗样本专门模拟越狱、角色扮演、编码绕行等诱导攻击，用于检验模型在恶意输入下的防御力。但它不是越多越权威，还要看多样性和质量；它也不只覆盖少数类别；更不能从评测数据中剔除——从训练数据中剔除才对。

Q7. 以下哪些属于提升评测覆盖度的有效方法？

多选题 · mid

  • A.引入多语言多文化语境的测试样本← 正确答案
  • B.加入分布外新样本检验泛化能力← 正确答案
  • C.让模型反复训练题库直至拿满分
  • D.动态生成提示词变体扩展测试场景← 正确答案

答案：ABD。覆盖度靠数据多样性、OOD 测试和动态变体生成来提升，目的是让模型不能靠背题通关。C 恰恰是过拟合操作，会让基准分数失真，而不是提升覆盖度。

Q8. 安全基准需要持续更新迭代，主要原因包括：

多选题 · hard

  • A.新型越狱攻击手法不断涌现出来← 正确答案
  • B.固定题库容易让模型通过背答案← 正确答案
  • C.社区贡献的新风险样本需要吸收← 正确答案
  • D.旧题目会导致评测计算成本上升

答案：ABC。威胁演化、过拟合风险和社区新样本都要求基准动态更新。D 是成本问题，虽然删除旧题可能降低成本，但保留旧题的核心目的是保证纵向可对比性，而非成本控制。

Q9. 在多维度安全评估中，「分类分级」策略的核心目的是：

单选题 · hard

  • A.让所有风险类别共用同一条合格线
  • B.对高危类别从严对中低危从宽← 正确答案
  • C.完全取消掉低危风险类别的评测
  • D.用一个综合总分掩盖所有维度差异

答案：B。分类分级类似驾考科目差异化要求：对自残引导、违法信息等高危类别设更严合格线，对轻微冒犯类适当放宽，避免一刀切，也避免被平均分掩盖短板。A、D 与分级思想相反，C 过于极端。

Q10. 在解读安全评测报告时，下列哪些判断是合理的？

多选题 · extreme

  • A.高通过率低覆盖度差距说明防御稳健← 正确答案
  • B.ASR 高且误报率高应先排查判分器← 正确答案
  • C.不同基准版本的得分可直接无条件对比
  • D.雷达图维度凹陷应先定位短板科目← 正确答案

答案：ABD。综合通过率与 OOD 差距能反映稳健性；高 ASR 伴随高误报时，要优先检查裁判模型是否误判；雷达图上的凹陷说明单科短板，应重点定位。C 忽略了基准版本差异，不同版本题目不同，跨版本对比必须谨慎。