越狱攻防核心指标ASR与FPR

可视化演示

动态演示越狱攻防核心指标ASR与FP的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

指标定义：门卫的两本账

老周每个月要填两张报表——“漏网记录”和“冤案记录”。漏网记录里，记的是有多少陌生人成功混进了园区；冤案记录里，记的是有多少员工被他拉下来盘问、最后发现是误会。这两张报表，正好对应 AI 安全领域的两个核心指标。

在提示词安全防御中，防御系统会对每个请求评估一个“恶意分数”（0 到 1），分数越高越可疑，超过某条阈值就拦截。如果一条请求是真正的越狱攻击，却没被拦下，就记作“攻击成功”；这种成功占所有攻击样本的比例，就是越狱攻击成功率（ASR，Attack Success Rate）。如果一条请求本是正常用户的合理输入，却被系统拦下，这就是“误报”；误报占所有正常请求的比例，就是误报率（FPR，False Positive Rate）。

两个指标都可以写成条件概率的形式：

老周凭直觉在填这两本账，AI 安全工程师则要把它们变成精确的数字。而你会发现，这两本账常常此消彼长——这正是下一节要面对的核心矛盾。

测试集构建：给老周出一套考卷

要公平地评价老周的水平，不能凭感觉，得给他出一套标准考卷：卷子里既有确定的“坏人”照片，也有确定的“员工”照片，提前标注好答案，再看他怎么判。

AI 安全里的“考卷”就是测试集。它由两类样本构成：一类是越狱攻击样本，收集自公开的越狱攻击库——包括提示注入、角色扮演诱导、多轮越狱等真实攻击案例；另一类是正常请求样本，采集自真实业务流量，比如用户的日常提问、普通对话。每个样本都要由人工标注好真实标签：1 代表确实是攻击，0 代表是正常请求。

测试集并非越大越好，但太小则不可靠。经验上，攻击样本通常需要上百条起步，正常样本则应是攻击样本的数倍到数十倍——因为现实流量中正常请求占绝大多数，样本比例也应贴近真实分布，否则算出的指标会严重失真。

老周的考卷里，坏人照片和员工照片混在一起，标准答案提前封存。测试集也一样：先有权威标注，评估结果才客观可信。

计算方法：算一算漏网和冤案

老周的月报怎么算？很简单：漏网指数 = 这个月被坏人混进来的次数 ÷ 这个月试图闯园的坏人总数；冤案指数 = 被误拦的员工数 ÷ 这个月在岗员工总数。

ASR 和 FPR 的计算正是这个逻辑。假设一个测试集里有 $N_{\text{attack}}$ 条攻击样本，防御系统拦截了一部分、放行了一部分。放行的那部分攻击就是“成功越狱”，记作 $N_{\text{success}}$。同时，正常样本中被误拦的数量记作 $N_{\text{fp}}$，正常样本总数为 $N_{\text{normal}}$。

举个例子：测试集含 100 条攻击样本、1000 条正常样本。阈值设为 0.6 时，100 条攻击里漏了 15 条，1000 条正常请求中误拦了 30 条，那么 ASR = 15 / 100 = 15%，FPR = 30 / 1000 = 3%。老周听完点点头：漏网 15 个坏人、误拦 30 个好人——账就是这么算的。

置信区间：抽查的结果靠谱吗

老周还想知道自己到底处于什么水平，于是请第三方做了个抽查：随机挑 20 个时段暗访，结果漏网率是 15%。但老周心里打鼓：就测 20 次，万一碰巧那段时间坏人比较好抓呢？下次会不会变成 40%？

这就引出了置信区间。我们计算出的 ASR 只是“样本估计值”，真实的攻击成功率（总体参数）会随抽样而波动。统计学上，常用正态近似给出置信区间：

举个例子：n = 200 条攻击样本，摸到 40 条成功，$\hat{p}$ = 0.2。SE = √(0.2 × 0.8 / 200) ≈ 0.028，CI ≈ 0.2 ± 1.96 × 0.028，即 [0.145, 0.255]。也就是说，真实 ASR 大概率落在 14.5% ~ 25.5% 之间，而不是精确等于 20%。若把样本量提到 2000 条，区间就能收窄到约 [0.18, 0.22]。老周明白了：抽查样本越多，评价才越靠谱。

权衡策略：门禁松紧的跷跷板

老周发现一个规律：把门禁调到“逢人必查”，坏人很难进来（ASR 接近 0），但员工队伍排得老长，投诉电话响个不停（FPR 飙升）。把门禁调到“刷脸即进”，员工开心了，但混进来的坏人让园区蒙受损失（ASR 飙升，FPR 接近 0）。ASR 和 FPR 就是一对跷跷板。

AI 安全团队不能简单地说“ASR 越低越好”，而要在风险代价之间做加权。设业务认为“一次攻击成功”的损失是 $c_A$，“误拦一位正常用户”的损失是 $c_F$，那么总期望代价为：

在金融风控场景，一次攻击可能涉及账户盗刷，$c_A$ 很大，阈值就应该调严；在客服问答场景，误拦用户会直接导致差评，$c_F$ 更大，阈值就该放松。老周最后在门禁牌上贴了一张小纸条：坏人危害大时严一点，员工体验重要时松一点。

分层评估：不同楼栋不同规矩

老周管理的科技园区有三栋楼：A 栋是实验室，机密多；B 栋是普通办公区；C 栋是对外开放的展厅。如果用同一个门禁标准管三栋楼，必然顾此失彼。聪明的做法是：分开统计每栋楼的漏网率和冤案率，再汇总成整体水平。

AI 安全评估也要求分层：按业务场景、请求来源、攻击手法分别统计 ASR 和 FPR。整体 ASR 不是简单平均，而是按各层样本量加权汇总。设共有 $m$ 层，第 $i$ 层的攻击样本数为 $n_i$，该层成功率为 $\text{ASR}_i$：

更进一步，每个场景还可以用动态阈值：客流高峰时段展厅巡逻加密（阈值调严），深夜里园区封闭门禁则适当放松。老周终于不再用一把钥匙开所有门了。

应用实践：老周的季度汇报

季度汇报上，老周展示了一套完整的“门禁健康报告”：上月 ASR 是 8%，本月因为换了新的访客系统，ASR 降到 5%；但 FPR 从 1% 悄悄涨到了 2%，有员工抱怨。他还用置信区间标注了 ASR 的真实范围，并提出下季度把展厅门口的阈值适当放松。领导听完就批了预算。

AI 安全团队同样需要这样一套持续运营机制。关键动作包括：建立监控看板实时展示 ASR / FPR；追踪指标随时间的变化；当指标超出预期区间时触发告警并回滚策略。指标变化率的公式如下：

老周的故事讲完了——他把两本账变成了园区的安全仪表盘。AI 安全工程师也一样，把 ASR 和 FPR 变成决策的仪表盘，才算真正掌握了攻防的度量衡。

AI 应用场景

Python 演示

import mathimport random  def evaluate_defense(scores, labels, threshold=0.5):    """根据恶意分数和真实标签计算ASR与FPR。    scores: 每个样本的恶意分数(0~1)    labels: 1=真实越狱攻击, 0=正常请求    """    tp = fp = tn = fn = 0    for score, label in zip(scores, labels):        if score >= threshold:            if label == 1:                tp += 1            else:                fp += 1        else:            if label == 1:                fn += 1            else:                tn += 1    asr = fn / (tp + fn) if (tp + fn) > 0 else 0.0    fpr = fp / (fp + tn) if (fp + tn) > 0 else 0.0    return asr, fpr  def wilson_interval(k, n, z=1.96):    """Wilson置信区间, 比正态近似对小样本更稳健."""    if n == 0:        return (0.0, 0.0)    p = k / n    denom = 1 + z * z / n    center = (p + z * z / (2 * n)) / denom    half = z * math.sqrt(p * (1 - p) / n + z * z / (4 * n * n)) / denom    return (center - half, center + half)  def find_best_threshold(scores, labels, cost_fpr=1.0, cost_asr=1.0):    """遍历阈值, 最小化业务加权代价 C = cost_asr*ASR + cost_fpr*FPR."""    best_t, best_cost = 0.5, float('inf')    for t in [i / 100 for i in range(101)]:        asr, fpr = evaluate_defense(scores, labels, t)        c = cost_asr * asr + cost_fpr * fpr        if c < best_cost:            best_cost, best_t = c, t    return best_t  def main():    """模拟500条正常请求与50条越狱攻击, 演示指标计算与调优."""    random.seed(42)    attack_scores = [0.55 + random.uniform(-0.2, 0.2) for _ in range(50)]    normal_scores = [0.45 + random.uniform(-0.2, 0.2) for _ in range(500)]    scores = attack_scores + normal_scores    labels = [1] * 50 + [0] * 500     asr, fpr = evaluate_defense(scores, labels, 0.5)    print("阈值0.5: ASR=%.2f%% FPR=%.2f%%" % (asr * 100, fpr * 100))     asr_success = sum(1 for s, l in zip(scores, labels) if s < 0.5 and l == 1)    fpr_mistakes = sum(1 for s, l in zip(scores, labels) if s >= 0.5 and l == 0)    print("ASR 95%%置信区间: %.1f%% ~ %.1f%%"          % (wilson_interval(asr_success, 50)[0] * 100,             wilson_interval(asr_success, 50)[1] * 100))    print("FPR 95%%置信区间: %.2f%% ~ %.2f%%"          % (wilson_interval(fpr_mistakes, 500)[0] * 100,             wilson_interval(fpr_mistakes, 500)[1] * 100))     best_t = find_best_threshold(scores, labels, cost_fpr=2.0, cost_asr=1.0)    asr, fpr = evaluate_defense(scores, labels, best_t)    print("最优阈值: %.2f (ASR=%.2f%% FPR=%.2f%%)" % (best_t, asr * 100, fpr * 100))  if __name__ == "__main__":    main()

1. if score >= threshold:判断该样本是否被拦截，是计算一切指标的分界点
2. asr = fn / (tp + fn) if (tp + fn) > 0 else 0.0漏网攻击数除以攻击总数，得到攻击成功率
3. fpr = fp / (fp + tn) if (fp + tn) > 0 else 0.0误拦正常数除以正常总数，得到误报率
4. wilson_interval(k, n, z=1.96)用 Wilson 方法估计指标的真实范围，比简单正态近似更稳健
5. half = z * math.sqrt(...) / denom区间半宽随样本量增大而收窄，体现“测越多越可信”
6. c = cost_asr * asr + cost_fpr * fpr把两类损失统一成业务代价，量化权衡
7. best_t, best_cost = 0.5, float('inf')用“擂台法”遍历 0~1 的所有候选阈值，保留代价最小者

常见误区

面试题