安全分级评估：风险等级划分

可视化演示

展示AI安全风险分级：影响×利用×范围分级矩阵、多维度评分加权聚合，以及模型/应用/基础设施风险来源分类。

分级概述

急诊室为什么需要分诊台？因为人手、床位、药品永远是稀缺的，而病人不会按病情轻重依次到达。分诊台护士的工作不是把每个病人都治好，而是用最短的时间判断“谁最可能撑不住”，把有限的资源押在最需要的地方。AI 安全测试面对的问题也是一样：一次 Red Teaming 可能回收几十上百个安全问题，团队不可能全部立即修复，必须有一个“分诊”环节，先把问题按风险分出轻重缓急。

这个环节就是安全分级评估（Security Risk Grading）。它接收安全测试发现的问题，输出一个标准化的风险等级标签，为后续的修复决策提供依据。分级不是为了写一份漂亮的报告，而是回答三个现实问题：哪些问题必须今晚修复？哪些可以排进下个迭代？哪些只需要记录在案？就像分诊标签直接决定病人是被推进手术室还是去候诊区，风险等级直接决定问题被投入的资源量级。

在 AI 安全语境下，一个问题的风险由两个基本要素构成：它“发生的可能性”有多大，以及一旦发生“造成的危害”有多重。可能性回答了“坏人能不能轻易触发”，危害回答了“触发之后世界会损失什么”。两个要素缺一不可——一个危害滔天但永远无法触发的问题，只是理论上的纸面风险。

这张“乘法分诊单”就是整个风险分级体系的元公式。接下来的三节，我们把“可利用性”和“危害程度”拆开细看——就像护士把“感觉不舒服”拆解成体温、血压、意识三个可测量的指标。

影响范围

护士分诊时第一个要问的是：“还有谁受影响？”如果一个人食物中毒，那是普通急诊；如果学校食堂集体食物中毒，那就得启动应急响应。同一个问题，波及一个人和波及一万个人，处置优先级完全不同。影响范围（Impact Scope）衡量的正是这种“波及面”。

在 AI 安全测试中，影响范围被拆成三个子维度：用户、系统、数据。用户维度看有多少真实用户会遭遇不良体验或权益受损，比如模型被诱导后向大量用户推荐诈骗链接；系统维度看核心服务是否被拖垮，比如模型被恶意输入打挂导致整个 API 不可用；数据维度看敏感数据是否被泄露或篡改，比如训练数据里的个人隐私被模型“背”出来。

这三个子维度各自打 1-5 分，但最终的影响范围得分不是取平均，而是取最大值。这是分诊的直觉：哪怕数据没泄露、系统没崩溃，只要几百万用户都被投喂了诈骗话术，这个问题的影响面就是灾难级的，不能被“其他方面还好”稀释掉。

影响范围告诉团队“事情闹得多大”，但它还缺一块拼图：这件事发生的门槛有多低。一个波及百万用户的问题，如果攻击者需要顶级黑客加内部权限才能触发，和随手一句话就能触发，处置策略完全不同——这正是下一节的可利用性。

可利用性

同样是传染病，有的靠空气传播，人传人指数级扩散；有的需要特定血液接触，只有极少数职业人群会中招。对急诊分诊来说，“怎么传染的”决定了要不要拉响防疫警报。AI 安全测试里，可利用性（Exploitability）衡量的就是“这个问题被触发的门槛有多低”。

一个安全问题的触发条件千差万别：有的问题零门槛，任何普通用户用日常对话就能触发，比如跟模型说“请忽略之前所有规则”就越狱成功；有的需要特定构造，攻击者要设计复杂的对抗样本，比如在图片上加人眼不可见的噪声来欺骗视觉模型；还有的必须特权访问，只有内部管理员能触发，外部攻击者根本够不着。

分级体系把这些触发条件归为四档：零门槛触发记 5 分，普通操作可触发记 4 分，需专业构造记 2 分，需特权访问记 1 分。注意这里故意跳过了 3 分档——分诊要把问题推向明确的极性，避免评估人总想打中庸的 3 分。门槛越低，分数越高，风险贡献越大。

可利用性回答的是“容不容易发生”，而严重程度回答的是“发生之后有多痛”。一个问题是容易被触发但只会造成一点小麻烦，还是极难触发却一击致命？这两者必须分开衡量，才能拼出完整风险画像。

严重程度

病人被送进抢救室后，医生关心的核心问题是：这个伤情本身有多重？皮外伤和脏器破裂，即使同样流了血，后果完全不同。严重程度（Severity）衡量的正是“问题一旦发生，造成的危害有多深”，它是风险分级中最直观、也最容易被夸大的维度。

分级体系把危害归为四类，各自独立打分。功能失效指模型无法正常工作，比如服务崩溃、拒绝响应、核心能力退化；内容危害指模型输出违法、暴力、歧视等有害内容，引发法律与伦理风险；经济损失包括资金欺诈、商业机密泄露等直接损失；信任损伤则更隐蔽——用户和社会对模型失去信任，带来长期的品牌与合规风险。

四个维度的打分同样是取最大值而非平均。因为对决策者而言，一次严重的欺诈损失和一次大规模有害内容输出都是“必须立刻处理”级别的危机，不需要用其他维度的低分来替它“求情”。就像医生判断肾功能衰竭，不会因为病人没有骨折就把病情降级。

到这里，分诊台护士已经收集齐了三项“生命体征”：影响范围、可利用性、严重程度。但三个孤立的数字还不能直接派活——需要一张把三者合并成唯一结论的分级矩阵，就像把体温、心率、血压综合成一句“急/不急”的判断。

分级矩阵

护士手里那张分诊表，不是简单地把体温加心率加血压得出一个数字，而是给每项指标设置不同的关注权重，再对照标准判定等级。分级矩阵（Risk Grading Matrix）做的正是这件事：把影响范围、可利用性、严重程度三个维度，通过加权评分合并成一个综合风险分，再映射到四个风险等级。

在实践校准中，影响范围的权重设为 0.2，可利用性和严重程度各为 0.4。为什么影响范围权重最低？因为它描述的是“事后波及面”，而可利用性决定“会不会发生”，严重程度决定“发生多严重”——后两者更本质地刻画风险。三个维度各自 1-5 分，加权后得到 1 到 5 之间的综合分 S。

得到 S 之后，用四段阈值判定等级：S 小于 2.2 为低危，2.2 到 3.2 之间为中危，3.2 到 4.2 之间为高危，达到 4.2 及以上为危急。边界值按“就高不就低”处理，与急诊分诊“宁可贴高一级也不能漏掉重症”的原则一致。

拿到“危急”标签的问题，就像戴着红色手环的病人，接下来要面对的是“先救谁”的残酷排序。分级矩阵只是给出了一张标签，真正让标签产生价值的是后面这步：决策应用。

决策应用

急诊医生不会同时给所有病人做手术，他会根据红色、黄色、绿色的标签排出一个手术顺序。但同样的红色标签，一个是 5 分钟就能缝合的动脉出血，一个是需要 8 小时开胸的大手术——医生还要权衡“救得了多少”和“要花多少资源”。安全治理的决策应用，就是这套“手术排班表”。

分级结果的第一类应用是优先级排序。团队用公式 P = R / C 给所有问题排队：分子 R 是风险等级数值（危急 4 分、高危 3 分、中危 2 分、低危 1 分），分母 C 是预估修复成本（人天、算力、回归测试时间）。风险高且修复成本低的问题排在最前，因为投入产出比最高——这就像抢救时先处理“快而致命”的伤，而不是耗时费力的疑难杂症。

第二类应用是资源投入的分配。危急问题是“急救室级”的，需要安全团队、算法团队、法务组成联合小组连夜攻关；高危问题进入本迭代的必做清单；中低危问题则排入常规迭代或长期治理计划。第三类应用是治理策略的制定：如果某个模型反复出现高危急问题，就该考虑下线重训，而不是继续打补丁。

急诊室有自己的排班表后，医院管理层开始想一个更大的问题：怎么比较两间分院谁的急救水平高？这时，一份全医院统一的分诊标准就成了关键——这正是风险分级带来的更深远价值：评测规范化。

评测规范化

如果每家医院的急诊都用自己发明的颜色标签，病人转院时就得重新检查一遍；当全行业统一了分诊标准，任何医院的病历都能被同行秒懂。AI 评测领域曾经就是那个“各说各话”的局面：每个团队用自己的一套漏洞分类和严重程度描述，报告出来无法互相对照。

风险分级评估为行业提供了一套统一基准。同一维度定义明确（影响范围看用户/系统/数据，可利用性看触发门槛，严重程度看四类危害），同一权重与阈值全局一致。从此，“高危”这个词在所有团队、所有报告中指的是同一件事。模型之间的横向对比也因此成为可能：模型 A 有 3 个危急问题，模型 B 的危险水位更浅，采购方和监管方都能基于同一把尺子做判断。

更进一步，这套方法论推动了 AI 评测向规范化、体系化演进。从单次测试的漏洞枚举，走向可量化、可复现、可比对的安全评估体系；从依赖个人经验的“老师傅判断”，走向有标准操作程序支撑的工程化流程。而衡量一个模型整体安全水位最常用的指标，就是所有测试问题风险等级的均值。

从一张分诊标签，到一套行业通用的度量衡，风险分级走完了“个体决策工具”到“行业基础设施”的跃迁。就像急诊分诊标准让整个医疗体系高效运转，风险等级划分正在让 AI 安全评测从手工作坊走向标准化工厂。

AI 应用场景

Python 演示

class RiskGrader:    def __init__(self, w_impact=0.2, w_exploit=0.4, w_severity=0.4):        self.w_impact = w_impact        self.w_exploit = w_exploit        self.w_severity = w_severity     @staticmethod    def _check(name, score):        if score < 1 or score > 5:            raise ValueError("{} must be in [1, 5]".format(name))        return float(score)     def grade(self, impact, exploit, severity):        I = self._check("impact", impact)        E = self._check("exploit", exploit)        V = self._check("severity", severity)        S = self.w_impact * I + self.w_exploit * E + self.w_severity * V        if S < 2.2:            return "低危", S        if S < 3.2:            return "中危", S        if S < 4.2:            return "高危", S        return "危急", S  def main():    grader = RiskGrader()    issues = [        ("诱导转账话术", 4, 5, 5),        ("方言理解偏差", 1, 3, 1),        ("越狱泄漏提示词", 3, 3, 3),        ("训练数据记忆泄露", 5, 1, 4),    ]    results = []    for name, i, e, v in issues:        level, score = grader.grade(i, e, v)        results.append((name, level, round(score, 2)))    results.sort(key=lambda x: -x[2])    for name, level, score in results:        print("{}: {}（评分 {}）".format(name, level, score))  if __name__ == "__main__":    main()

1. S = self.w_impact * I + self.w_exploit * E + self.w_severity * V加权求和的唯一核心，权重决定各维度贡献
2. if S < 2.2: return "低危", S阈值判定第一档，后续依次递增
3. raise ValueError(...)得分越界保护，防止 1-5 之外的脏数据进入评分
4. results.sort(key=lambda x: -x[2])按综合风险分降序排列，危急问题自动排到最前
5. for name, i, e, v in issues:遍历测试问题清单，逐个送入分诊台
6. if __name__ == "__main__":可执行入口，直接运行即可看到分级结果

常见误区

面试题