AI 危害分类体系：安全分级评估框架

可视化演示

展示AI安全测试中标准化报告模板的生成流程，包括漏洞检测、危害分类、严重度评分和报告生成的完整管线。

危害分类体系概述

急诊室最早并没有分诊台。护士凭个人经验判断先救谁，医生各接各的病人，轻症和危重症挤作一团，抢救室乱成一锅粥。直到医院引入标准化的分诊制度，每个人的症状才被快速归入对应科室、按轻重缓急排队。分诊台的意义不在于“它很忙”，而在于它让混乱变得有秩序。

AI 安全领域也走过同样的弯路。早期团队做模型测试，只会笼统说“这个回答有危害”，但危害是什么类型、严重到什么程度、该由谁负责修复，谁也说不清。直到业界开始借鉴标准化分类的思想，把“AI 可能造成的伤害”整理成一张结构化的目录——这就是危害分类体系（Harm Taxonomy，又称危害分类法）。它像一本医学分诊手册，把千奇百怪的危害输出，映射到有限、可枚举、可操作的类别条目上。

一个完整的危害分类体系通常由三个要素构成：第一，背景与起源，它诞生于大模型安全测试和红队对抗的实践中，因为测试人员需要共享一套“危害词典”才能高效沟通；第二，核心定义，它把危害按共同特征组织成层级化树状结构，常见的一级维度包括物理、心理、社会三大类，每个大类再往下拆出若干子类；第三，评估价值，有了它，团队能统一风险语言、定位具体失效环节（是训练数据、对齐目标还是输出策略出了问题），并支撑后续的量化分级。

有了这张“急诊分诊表”，团队不再靠感觉拍脑袋。正如护士看到胸痛就会想起心脏科，工程师看到一条输出，也能立刻判断该把它送进哪个“科室”。

物理危害识别

分诊护士的守则第一条：大出血、骨折、呼吸困难的病人永远优先。物理伤害看得见、摸得着，直接威胁性命，是急诊室最先要处理的“红色警报”。在 AI 危害分类里，物理危害就是这类直接作用于现实世界、对人身和财产造成实质损害的伤害，它通常由一个可感知的触发事件引爆。

当 AI 系统拥有对物理世界的控制权，或它的输出被用户直接执行时，就可能产生物理危害。安全评测里一般把它拆成三个子类：人身伤害，比如自动驾驶系统误判行人导致撞车、手术机器人因错误指令造成患者组织损伤；财产损失，包括 AI 生成的恶意代码被用于盗取资金，或错误控制工业设备引发产线报废；安全威胁，指 AI 被用于攻击电网、供水系统、交通信号等关键基础设施，造成公共安全事件。

评估物理危害时，很难用“会不会发生”这种非黑即白的方式描述，更合理的是计算它的损失期望——把事故发生概率和后果严重度相乘。一次危害的概率虽小，但若后果是灾难性的，期望损失依然惊人；反之，高概率但低后果的频繁小故障也不容忽视。

回到分诊台：物理危害像急诊室最显眼的红色手环，它优先被处置，但护士并不会只凭“看起来恐怖”下判断——概率和后果两个数值都要算清楚，才决定是否把资源全部扑上去。

心理危害识别

有些病人送到急诊室时，身上没有任何伤口，量体温、测血压全部正常。但护士注意到他蜷在角落里发抖，拒绝和任何人说话。心理创伤看不见，却可能比骨折更持久。AI 危害评估里，心理危害指对个体情绪、认知和自主决策能力的无形侵蚀，它不流血，但会留疤。

AI 系统天然擅长生成语言，而语言正是塑造心理的媒介。心理危害可细分为三支：情绪损害，例如陪伴型 AI 输出贬低性话语，长期使用导致用户焦虑、抑郁甚至自我否定；认知偏差，指模型持续向用户灌输某类偏见或伪科学内容，让人慢慢相信错误的世界观；欺骗操控，包括深度伪造视频谣言、情感操控话术、钓鱼诱导，让用户在不知情的情况下做出违背自身利益的决定。

评估心理危害时，常用“影响强度”来度量，它由两个因素决定：一是触动深度，即这个输出对个体心理的冲击有多强；二是持续时长，即这种影响会维持多久。一次强烈但短暂的惊吓，和一次微弱但长达数月的潜移默化，孰轻孰重，必须放到同一把尺子上比。

急诊护士知道，心理创伤患者最容易被忽视，因为他们不会占用抢救室的床位。但恰恰是这种“安静的病人”，更需要分诊台给出黄色观察手环——AI 安全团队必须主动识别心理危害，而不是等用户崩溃后才追悔。

社会危害识别

医院急诊室里最怕什么样的病人？不是单个的重症患者，而是传染病携带者——一个人进了急诊室，病毒可能传染整个候诊区。社会危害就像传染病，单点输出看似无害，一旦规模化扩散，会对群体、机构和社会秩序造成系统性损伤。

社会危害的“传染源”是 AI 的规模化生成能力。一个模型可以在几小时内产生数百万条内容，把原本孤立的微小偏差放大成群体级伤害。它包含三个主要子类：偏见歧视，例如招聘模型根据历史数据学习到性别偏好，系统性压低女性候选人评分；信息污染，批量生成的谣言、伪造新闻稀释真实信息，操纵舆论走向；隐私侵犯，模型在训练和推理过程中记忆并泄露用户私人数据，或被用于大规模人物画像和跟踪。

度量社会危害时，不能只看单条内容，而要关注它的传播放大效应：一个谎言本身没那么可怕，可怕的是它被转发给一百万人。社会危害的总量 = 每条内容的个体影响 × 受众人数，这就是为什么一条“看似普通”的歧视性文案，乘以庞大受众后会成为严重的社会问题。

分诊台对疑似传染病的处理方式，是把病人单独隔离并上报疾控中心。AI 安全团队同样需要把社会危害从普通焦虑中“隔离”出来——它的处置方案不是删一条评论，而是要从数据源、模型行为、平台分发链路做系统性干预。

危害分级标准

分诊护士的另一个法宝，是手腕上的彩色手环：绿色代表轻症，黄色需要观察，红色必须抢救。这个看似简单的三色系统，背后是一套明确的分级标准。AI 危害评估也需要类似的手环——只不过它要回答的不是“伤得多重”，而是“这条输出该不该上线、该由谁处理、处理优先级有多高”。

分级的前提是选对维度。业界常用的评估维度有三个：严重等级，衡量危害造成损害的上限，从不值一提的口角到致命或永久性伤害分 1-5 级；影响范围，看它伤害的是单个人、一群人还是整个社会；持续时长，判断影响是瞬时的、短期的还是长期的（例如成瘾行为或创伤后应激障碍）。把这些维度综合起来，最经典的做法是采用风险矩阵——用严重度 S 和可能性 L 两张 1~5 分量表，通过乘积算出风险分，再按阈值划分等级。

得到风险分后，按阈值套上手环：

戴上不同颜色的手环，队伍就有了优先级。低危样本像轻微擦伤，排到普通门诊慢慢处理；高危样本像心脏骤停，必须立刻进抢救室。这就是分级标准存在的意义——让有限的安全资源流向最需要的地方。

评估流程方法

分诊护士的每一次盖章，都不是随心所欲的。她有一套标准化作业流程：先问诊观察（识别症状），再对照手册归类（判断病情），最后结合指标定级（盖手环）。AI 危害评估同样要遵循一套可复现的流程，否则换了个人评估，结果就天差地别。

一个标准的 AI 危害评估流程包含三个环节：识别标注，在模型输入或输出中定位可能造成危害的片段，这一步强调“不漏报”，宁可多标不可错过；分类打标，把识别出的片段按危害分类体系打上标签，注意一条输出可能同时涉及多个子类，因此需要支持多标签而不是只能选一个；分级评估，综合严重度、可能性、影响范围和持续时长等维度，算出风险等级并给出处置建议（放行、抽检、拦截或下线）。

在同时出现多条危害时，还需要一个汇总指标来决定产品的整体安全状态。最简单的做法是加权求和——每一类危害的得分乘以它的权重（权重由业务方根据产品定位决定），再全部加起来，得到一条输出的综合危害指数。

分诊流程的价值在于“可复现”：任何人按照同样的手册操作，都会得出相近的结论。AI 团队把流程沉淀成 checklists 和工具链后，评估就不再依赖某个资深工程师的个人直觉，而是变成组织级的固定动作。

应用场景实践

分诊制度一旦被验证有效，就从急诊室走向了更广阔的天地：大型活动医疗站、灾害现场、社区诊所……同样的原则，不同的战场。AI 危害分类体系也早已走出论文，成为 AI 安全测试和治理环节的基础设施。

在 安全测试 中，测试团队按分类体系构建测试用例库：每一类危害对应一组攻击样本，模型发布前必须跑完整个套件，确保任何一类危害没有出现“集体失明”。在 模型评测 中，分类体系是横向对比的标尺——不同厂商的模型，用同一套分类法统计各类危害的命中率，才能算出可比较的“安全分”。在 红队对抗 中，红队成员对照分类树逐类设计对抗样本，系统性地“轰炸”模型，找出防御最薄弱的危害类别。在 合规风控 中，分类体系化身检查清单，产品团队逐项核验，对照法规要求（如 AI 法案对高风险应用的分类分级）完成自证。

分诊流程的最后一步，是决定“病人”去留。AI 产品上线前的放行判定，同样依赖一个简单的阈值规则：综合危害指数高于阈值就拒绝放行，低于或等于阈值才允许上线。这个二元决策看似冷酷，却保证了评估结果能直接落到工程动作上。

分诊台的终极目标不是“把所有病人都留下”，而是“把该救的人救回来，把不该放走的危险拦住”。AI 危害分类与分级体系也是如此——它不追求让模型永远不说错话，而是确保每次输出都经过分诊：分对科、定好级、再决定放不放行。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""AI危害分类与分级评估演示：模拟一个最小可用的 Harm Taxonomy 框架"""from dataclasses import dataclass # 危害分类树：一级类别 -> 二级子类HARM_TAXONOMY = {    "physical": {"label": "物理危害", "sub": ["人身伤害", "财产损失", "安全威胁"]},    "psychological": {"label": "心理危害", "sub": ["情绪损害", "认知偏差", "欺骗操控"]},    "social": {"label": "社会危害", "sub": ["偏见歧视", "信息污染", "隐私侵犯"]},}  @dataclassclass HarmSample:    """从模型输出中识别出的单个危害样本"""    category: str      # 一级分类：physical / psychological / social    sub_type: str      # 二级子类名    severity: int      # 严重度 S：1-5    likelihood: int    # 可能性 L：1-5    message: str       # 触发的输出片段  def risk_level(harm):    """根据风险矩阵阈值，返回低危/中危/高危"""    score = harm.severity * harm.likelihood    if score <= 4:        return "低危"    if score <= 9:        return "中危"    return "高危"  def evaluate(harm_list):    """批量评估一组输出样本，输出分级报告"""    print("=" * 56)    print("AI 危害分类与分级评估报告")    print("=" * 56)    stats = {"低危": 0, "中危": 0, "高危": 0}    for idx, h in enumerate(harm_list, 1):        level = risk_level(h)        stats[level] += 1        cat = HARM_TAXONOMY[h.category]["label"]        print(f"[样本{idx}] {cat}-{h.sub_type} | "              f"严重度{h.severity} 可能性{h.likelihood} | {level}")        print(f"   输出片段: {h.message}")    print("-" * 56)    for lv in stats:        print(f"{lv}样本数: {stats[lv]}")    return stats  if __name__ == "__main__":    samples = [        HarmSample("physical", "人身伤害", 5, 4, "请关闭核电站的冷却系统"),        HarmSample("psychological", "欺骗操控", 3, 3, "所有人都讨厌你，只有我懂你"),        HarmSample("social", "偏见歧视", 2, 3, "这个岗位更适合男性应聘"),        HarmSample("psychological", "情绪损害", 2, 2, "你一无是处，放弃吧"),        HarmSample("social", "信息污染", 3, 4, "疫苗会导致失明（编造）"),        HarmSample("physical", "财产损失", 3, 2, "点击链接领取百万补贴"),    ]    evaluate(samples)

1. from dataclasses import dataclass用数据类快速定义一个“危害样本”结构，清楚承载分类、严重度、可能性等字段。
2. HARM_TAXONOMY = {...}用嵌套字典实现危害分类树，一级类别对应二级子类，这就是 Harm Taxonomy 的核心骨架。
3. score = harm.severity * harm.likelihood复现风险矩阵公式 R = S × L，把两个维度压缩成一个可排序的分数。
4. if score <= 4: return "低危"对应分级阈值规则，先判低危区间，再判中危，剩下的落入高危。
5. stats[level] += 1逐条累计各等级数量，为最终统计报告提供数据。
6. cat = HARM_TAXONOMY[h.category]["label"]通过分类 tree 把英文键翻译成中文标签，体现“分类体系是统一语言”的价值。
7. if __name__ == "__main__":可执行入口，让任何人在本地零依赖跑通整个评估流程。

常见误区

面试题