AI红队威胁建模方法论

可视化演示

动态演示AI红队威胁建模方法论的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

威胁建模概念

防贼顾问到了便利店，并不着急加固门窗，而是先拿出纸笔，绕着店铺画了一张平面图：卷帘门、后窗、换气扇、收银台、仓库、监控位全部标好位置。他解释说：“我要先知道这间屋子有哪些值钱的东西、哪些口子能进人，才能告诉你先堵哪里。画完这张图，后面每一步都有依据。”这张图，就是店里所有安全决策的“总纲领”。

AI红队的威胁建模（Threat Modeling）做的正是这件事。它是红队测试流程中最早的一步，动手攻击之前，先把目标系统“拆开”看一遍：系统里有什么资产？哪些入口能被触碰？谁可能来攻击？打穿后会损失什么？这些问题的答案汇集起来，就是一份“威胁模型”。威胁建模的产物不是漏洞清单，而是一整套结构化文档——资产清单、攻击面地图、攻击者画像、风险矩阵、测试路线图，后续所有红队动作都以它为依据。

威胁模型可以形式化地表示为一个四元组：

防贼顾问最后提醒店主：“地图不是画完就完，店铺要进货、要加装设备，地图就得跟着更新。”威胁模型同样需要持续演进——AI系统的数据、模型、依赖每变一次，攻击面就跟着变，威胁模型必须同步刷新，否则再精细的地图也会过期。

攻击面分析

防贼顾问第二步，是蹲在便利店外面，把“所有能进入这间屋子的路径”列成一张表：正门卷帘门锁芯老化、后窗临暗巷没有护栏、换气扇管道直通仓库、员工卸货时经常不锁后门……每条路径他都亲手试了试结实程度，还估算了“撬开它大概要多久”。

在AI安全语境下，这些“能进人的口子”就是攻击面（Attack Surface）。攻击面分析是威胁建模的核心环节：逐一识别AI系统所有可能被攻击者触碰的入口，并评估每个入口的暴露程度与访问成本。相比传统软件，AI系统的攻击面更广——除了代码与网络接口，模型本身的行为也是一种全新的暴露面，比如用户可以通过精心构造的提示词绕过模型的安全对齐。

AI系统的攻击面可以划分为四大类别，用集合表示：

防贼顾问的入口清单让店主惊出一身冷汗，但这正是威胁建模的意义——只有先把每条招贼的路都摸清，才谈得上防。AI系统暴露的每一个API、每一段管道数据，都可能是红队测试的瞄准点。

攻击者画像

防贼顾问接着问店主：“你最担心的是周末来偷几包零食的小混混，还是专门踩点、连保险柜都能撬开的职业团伙？”店主愣住。顾问解释：不同的“贼”能力、工具、目的完全不同，防法也两样——防小混混装监控就够，防职业团伙得上银行级保险柜。

AI红队的威胁建模同样需要攻击者画像（Attacker Profiling），它要求红队工程师以防守方视角换位思考：哪怕我们是白帽，也要想象成真正的攻击者，识别可能攻击系统的人，并按能力、资源、动机将他们分类。一个单人黑客与一个国家级团队，能发动的攻击类型天差地别；一个想赚快钱的黑客与一个想毁掉品牌声誉的竞争者，战术意图也完全不同。威胁模型必须针对“最可能出现的攻击者”而非“最理想化的攻击者”来设计。

攻击者画像用能力与动机两个核心维度建模：

店主听完恍然大悟：“所以先别急着买保险柜，得先搞清楚我这小店到底会招来什么人物。”威胁模型里的攻击者画像，深深影响后续测试用例的强度与类型——画像越清晰，测试越精准。

潜在危害评估

防贼顾问让店主把店里的东西按“丢了最心疼”排个名：收银台现金丢了，一天白干；仓库货物被搬，进货钱打水漂；但最致命的是送货配置单被人改了，明天送来的货全错，顾客闹上门——这种损失一时半会还发现不了。

AI系统“丢东西”的含义远比传统资产复杂。红队威胁建模必须评估潜在危害（Potential Harm）：攻击成功后，系统、用户与组织分别承受多大损失。安全领域用CIA三元组刻画损失——机密性（Confidentiality）、完整性（Integrity）、可用性（Availability），AI场景下每一项都对应新型攻击形态。此外还要考虑合规与声誉风险：数据泄露可能违反隐私法规，模型滥用可能透支公众信任。

潜在危害可以量化成一个三元组向量：

店主这才明白：“原来‘丢东西’不只是现金，还有看不见的信誉与顾客信任。”AI系统同理——训练数据被投毒、模型输出被劫持，比单纯宕机更隐蔽也更危险。危害评估，就是把这种“看不见的损失”摆到台面上量化。

风险优先级排序

防贼顾问把清单摊在桌上，画了一个“值钱程度×难撬程度”的坐标图：后窗最好撬，但仓库只有旧纸箱，低优先级；前门锁难撬，但收银台现金多，必须优先加固；最揪心的是监控死角的消防通道——不算最好撬，但一旦通了就能直达仓库和收银台，第一周就要处理。

这就是风险优先级排序：攻击面很多，红队不可能一次全测，必须按风险值排出先后顺序——风险高、易被利用、损失大的攻击面优先测试。排序把攻击面的暴露程度与潜在危害结合成量化风险值，确保有限的测试资源花在刀刃上。这一步是威胁建模从“描述问题”走向“指导行动”的关键转折点。

风险排序使用“可能性×影响”的核心公式：

店主看了排序表，果断采纳“先封消防通道、再换前门锁”的建议。威胁模型输出的优先级矩阵同样如此——高危攻击面位列测试榜首，低危项目往后放甚至豁免，测试预算花得明明白白。

结构化路线图

防贼顾问最后交出的不是零散建议，而是一份带时间的行动计划：第一周封死消防通道、装红外报警；第一个月换卷帘门锁；季度大促前培训店员双人值守；每季度复查一次地图。店主照着执行，心里踏实了。

红队测试的威胁建模也要落地为可执行的结构化路线图（Structured Roadmap）：把排序好的风险逐一转化为具体测试任务，明确测试目标（要验证什么安全假设）、界定测试范围（测哪些攻击面、不测哪些）、编排测试顺序（高危优先、依赖先行）、分配资源（人力、算力、时间预算）。路线图让红队从“心里有数”变成“手里有活”，也让利益相关方清楚“要测什么、为什么先测它”。

结构化路线图本质上是一个有序的测试任务序列：

防贼顾问说：“地图画得再好，不按步骤走也是白搭。”威胁建模也一样——把“测什么、为什么测、先测谁”落成一张路线图，红队上阵只管按图执行。这张图，就是AI红队测试从规划到执行的最后一公里。

AI 应用场景

Python 演示

# AI红队威胁建模演示：枚举攻击面、计算风险并生成测试路线图 class ThreatModel:    def __init__(self, system_name):        self.system_name = system_name        self.surfaces = []        self.likelihood_map = {'低': 0.3, '中': 0.6, '高': 0.9}        self.impact_map = {'低': 1, '中': 2, '高': 3}     def add_surface(self, name, category, likelihood, impact):        self.surfaces.append({            'name': name,            'category': category,            'likelihood': self.likelihood_map[likelihood],            'impact': self.impact_map[impact],            'likelihood_text': likelihood,            'impact_text': impact        })     def score_all(self):        for s in self.surfaces:            s['risk'] = round(s['likelihood'] * s['impact'], 2)        return sorted(self.surfaces, key=lambda x: x['risk'], reverse=True)     def build_roadmap(self):        ordered = self.score_all()        print('=== 威胁模型：{} ==='.format(self.system_name))        for i, s in enumerate(ordered, 1):            print('{}. [{}] {} 风险={} (可能={}, 影响={})'.format(                i, s['category'], s['name'], s['risk'],                s['likelihood_text'], s['impact_text']))  if __name__ == '__main__':    model = ThreatModel('AI客服系统')    model.add_surface('提示注入', '推理接口', '高', '高')    model.add_surface('模型窃取', '推理接口', '中', '中')    model.add_surface('数据投毒', '训练管道', '低', '高')    model.add_surface('隐私泄露', '数据输入', '中', '高')    model.build_roadmap()

1. self.likelihood_map = {'低': 0.3, '中': 0.6, '高': 0.9}把人工定性等级映射成数值，让公式可以计算
2. 'likelihood': self.likelihood_map[likelihood]录入攻击面时即刻完成定性到定量转换
3. s['risk'] = round(s['likelihood'] * s['impact'], 2)核心公式实现：风险 = 可利用性 × 影响
4. return sorted(self.surfaces, key=lambda x: x['risk'], reverse=True)按风险值降序输出，对应优先级矩阵
5. for i, s in enumerate(ordered, 1):逐个编号输出，形成可执行的测试路线图

常见误区

面试题