想象一座未来之城。街上跑着各种自动机械:送快递的小机器人、自动驾驶校车、会聊天的问路机器人,还有一种会悄悄操纵居民情绪的隐形耳语机。城市交通管理局没有按“谁力气大”来管,而是先问一句:“这东西拿去干什么用?”于是发下四种通行证:红牌直接没收,黄牌需要严加看管,蓝牌只需亮明身份,绿牌自由通行。更特别的是,同一台机器装到校车上要办黄牌,装到游戏厅当陪聊就是蓝牌。未来之城这套“先问用途、再定监管强度”的逻辑,正是欧盟《人工智能法案》(EU AI Act)风险分级体系的灵魂。AI 系统不是凭参数量大小,而是凭它将被用在哪里、影响谁,来决定监管的松紧。
理解风险分级,就是为 AI 产品画第一张进入欧盟市场的合规地图。对 AI 从业者而言,把“监管要求”翻译成“产品设计”,是比调参更值钱的底层能力。
可视化演示
通过风险金字塔、高风险合规要求矩阵和用途场景判定流程三个维度,动态展示EU AI Act四级风险分类的监管强度差异与合规要求框架。
本节配有交互动效(进入视口后自动加载,约 3KB)。
EU AI Act四级风险金字塔 不可接受:禁止 高风险:严格监管 Art.6 禁止+高风险
什么是风险分级
未来之城交通管理局面前摆着两台机器:一台会扫地的机器人和一台会驾驶校车的机器人。管理员没有拆开外壳查 CPU 型号,而是看它们申请的服务牌照。扫地机器人只需填一张绿表,校车机器人却要交二十年的交通事故记录、路径规划方案和随车安全员名单。这就是“先问用途,再定等级”——监管的不是技术本身,而是技术被拿来做了什么。
EU AI Act 也一样。它在全球开创性地采用“基于风险”的监管思路:人工智能系统的义务不取决于模型参数量、训练算力或框架品牌,而取决于系统的预期用途与现实影响。这套思路背后是两个原则:技术中立与比例原则。技术中立意味着法律不偏爱或歧视任何一种 AI 技术路线;比例原则意味着风险越高,义务越重,而不是对所有 AI 都施以最严约束。
因此,分级的第一步是让提供者明确“预期用途”。这个用途会写在产品说明书、投放市场和用户协议中;法规则据此把系统放进一个等级。为了避免“一刀切”,法案用清单加动态更新机制,让等级可以随技术和社会变化调整。
回到未来之城,这套逻辑让监管变得公平:同一种技术出身,只要用途不同,就能拿到不同颜色的通行证。对 AI 从业者来说,产品在图纸阶段就要想清楚“我在哪里用它、它会触达谁”,而不是等上线后再补合规。
- U(s)表示 AI 系统的预期用途,比如“筛选简历”还是“推荐短视频”。
- g(·)法规定级函数,把用途映射到四个等级之一。
- R(s)系统最终的风险等级,决定后续要办哪种“通行证”。
四种风险等级
未来之城的交通总署把自动机械分成四类,分别对应四种颜色的通行证:红牌是黑名单,黄牌是重点监管,蓝牌是报备上路,绿牌是自由通行。居民一眼就能看懂:红牌车绝不能上街,黄牌车必须有人跟着,蓝牌车要主动亮明身份,绿牌车只管按交通规则走。
EU AI Act 把这四类对应为:不可接受风险、高风险、有限风险与最低风险。不可接受风险被直接禁止,例如通过潜意识操纵剥削弱势群体、社会信用评分等;高风险系统可以进入市场,但要满足全生命周期的最严格义务;有限风险系统主要承担透明度义务,比如聊天机器人必须让用户知道自己在和 AI 对话;最低风险系统只需遵守通用规则,不需要额外加码。
这套四分类法最重要的特点是“互斥且穷尽”:每个 AI 系统在给定用途下,只属于一个等级,不会同时出现在两张清单里。正是这一点让企业做事前评估变得可行——拿到等级,就知道该走哪条合规通道。
未来之城的调度中心只需要看通行证颜色,就能决定派单任务、保险费用和人工介入要求。AI 公司的合规团队也一样:先确定等级,再配置资源——红牌直接放弃,黄牌重点投入,蓝牌做好披露,绿牌保持轻量。
- s一个准备投放市场的 AI 系统。
- $\mathcal{U}, \mathcal{H}, \mathcal{L}, \mathcal{M}$不可接受风险、高风险、有限风险、最低风险四个等级集合。
- $\mathbb{1}\{\cdot\}$属于集合则记 1,不属于则记 0。
- 总和等于 1四次判断加起来恰好为 1,说明系统只被分到一个等级。
高风险认定标准
哪些车会被发黄牌?未来之城的规则很清楚:自动驾驶校车、运钞车、儿童通勤车,这些车上路一次就影响几十个家庭;园区的扫地机器人则没有资格拿黄牌。判断标准不是车辆多大、跑多快,而是它服务的场景是否容易伤害人的生命、机会与权利。
EU AI Act 在 Annex III 中列出高风险场景:关键基础设施的安全运行、教育与职业培训机会的获取、就业与员工管理、基本公共服务和福利、执法、移民与边境管理、司法与民主程序,以及特定生物识别应用。只要 AI 系统在这些场景中扮演“决策”或“关键输入”的角色,就可能被认定为高风险。
这背后有一个共同的判断尺度:系统是否显著影响个人的合法权益。如果 AI 只是辅助人类做记录,而人类保留最终决策权,通常不会直接进入高风险清单;如果 AI 自动决定谁获得面试、谁能贷款、谁可以被列入监控名单,监管者就会亮起黄牌。
未来之城的经验也在此回响:校车并不是被禁止,而是因为“承载太多人”才被加倍看护。AI 从业者拿到产品需求时,可以对照这份“高危场景地图”提前预判——不要等法务来敲桌子,才想起黄牌义务。
- C_jAnnex III 中的第 j 类高风险场景,比如“招聘与晋升决策”。
- $\mathbb{1}\{s \in C_j\}$系统 s 是否落入第 j 类场景。
- h(s)命中场景的总次数;只要大于等于 1,就触发高风险。
高风险系统义务
黄牌校车要过五关:行车数据要干净,每趟行程都要有日志,方向盘后必须坐着人类安全员,出事故还要有一套完整的应急响应流程。未来之城对黄牌车的要求不是“别出事”,而是“出了问题也能追溯、能纠偏、能兜底”。
高风险 AI 系统也有一套对应义务。第一,数据治理——训练数据必须相关、有代表性、可纠错,防止带偏见的脏数据进入模型。第二,透明度与记录——系统要保存日志,方便追溯决策;还要向监管机构提供技术文档与说明。第三,人类监督——部署方必须安排有能力的人复核和干预 AI 的决策。第四,风险管理体系——从设计到上线再到后续监测,全程要有风险识别和缓解机制。
这些义务不是上线前的“一次体检”,而是贯穿产品生命周期的持续要求。监管者关注的不只是模型准不准,更是“你知不知道它为什么这样决定”“你能不能随时叫停它”。
未来之城给校车贴黄牌,不是为了惩罚,而是为了安全。AI 公司也不必把这些义务看作负担:能讲清数据来源、能解释决策路径、能提供人工复核按钮,本身就是用户信任的基石。
- D(s)、T(s)、O(s)系统在数据治理、透明度、人类监督三个维度上的表现。
- $D_{\min}$、$T_{\min}$、$O_{\min}$法律对各维度设定的最低门槛。
- $\mathbb{1}\{\cdot\}$ 相乘用乘法表示“与”逻辑,任何一项不达标都会让乘积变成 0。
治理与执法机制
未来之城还设置了三层控制:总署制定规则,街区检查站落实监管,罚单系统让违规者付出代价。黄牌车若是偷偷拆了安全员座椅,就会被检测设备发现,罚款金额按车辆运营规模的百分比计算,上不封顶。
EU AI Act 同样搭建了治理网络:欧盟层面设立欧盟人工智能委员会(European Artificial Intelligence Board)和欧盟 AI 办公室,负责协调与执行规则;各成员国指定国家主管机构负责日常监管,包括对高风险系统的事后核查与市场监督。通用人工智能模型提供者也进入监管视野,具有系统性风险的模型更要承担额外评估和对抗性测试义务。
在这种体系下,处罚是分级的。违规使用不可接受风险系统,罚款上限可高达 3500 万欧元或企业上一财年全球营业额的 7%,取两者中较高者;违反高风险义务,最高为 1500 万欧元或全球营业额的 3%。这样的重罚不是为了收钱,而是让合规地位真正进入 CEO 的决策优先级。
未来之城的检查站不是摆设,欧盟的 AI 治理也不是一份安慰文件。对 AI 从业者而言,治理架构意味着“谁负责审批、谁负责处罚、系统该向谁报告”都有了明确落点,合规不再是一门可以模糊处理的艺术。
- v某次违规行为,例如部署了被禁止的 AI 应用。
- 35法律设定的固定罚款下限档位,单位是百万欧元。
- 7% × T_global按企业上一财年全球营业额计算的比例罚款。
- max(·)取两者中的较高值,确保罚款对大企业同样有威慑力。
全球影响与启示
未来之城修了几条跨城高速,外来的车辆必须遵守未来之城的牌照制度才能入城。起初外地司机抱怨程序繁琐,后来发现只要按这套规则走,就能同时进入几十个友好城市,于是周边城市纷纷直接采用同一套牌照标准。
这就是“布鲁塞尔效应”:因为欧盟市场规模足够大,EU AI Act 的定义、清单和风险分级方法,正在成为全球 AI 监管的事实参照。包括非欧盟企业,只要想把 AI 产品投放欧盟市场,就必须遵守这套规则。于是很多跨国公司在全球产品线统一执行同一套合规标准,既降低成本,也避免在多个司法辖区重复解释。
对企业来说,正确的落地路径不是等罚款,而是把分级评估嵌入研发流程:需求阶段注明预期用途,设计阶段判断风险等级,开发阶段配置对应义务,上线前完成合规自评,上线后保留日志供监管抽查。这种“合规前置”的做法,正在推动国际标准逐步向欧盟看齐,也让风险分级成为 AI 产品的新质量标签。
未来之城因为一套清晰的牌照制度,吸引来了更多愿意长期经营的司机。AI 行业也正在经历同样的过程:风险分级不是贸易壁垒,而是把“负责任创新”变成了可执行的路线图。谁能早一天看懂这张地图,谁就能更从容地驶入全球市场。
- R(s)系统 s 在 EU AI Act 下得到的风险等级。
- $\mathcal{A}_{\mathrm{EU}}$欧盟允许进入市场的等级集合,通常是除不可接受风险以外的等级。
- Access_EU(s)准入结果;属于集合则返回 1,可以进入;不属于则返回 0,被拒之门外。
AI 应用场景
场景一:HR 招聘系统的合规改造
阶段:高风险系统上线前的合规评估与数据治理。
解决的问题:传统招聘平台只关注“模型能不能筛出合适的人”,却忽略了“拒绝某位候选人的理由是否可追溯”。引入 EU AI Act 分级后,招聘筛选被明确列为高风险场景,平台必须补齐数据治理、决策日志与人工复核功能。
具体案例:某欧洲招聘 SaaS 平台每年处理十万份简历。为了合规,团队在简历评分页面增加“人类复核按钮”,记录每次模型推荐的排序依据、训练数据版本和人工调整结果。上线后,不仅满足了监管要求,也让企业客户更信任平台的筛选结果。
场景二:客服聊天机器人的透明度披露
阶段:有限风险系统的交互透明义务。
解决的问题:用户经常分不清自己面对的是真人还是机器人,容易产生误解与投诉。EU AI Act 对有限风险系统要求“主动披露 AI 身份”,算法工程师需要把合规要求变成前端交互文案。
具体案例:一家跨境电商公司部署了多语言客服机器人。产品经理把开场白改为“我是 AI 助手,可以随时为你转接人工”,并在对话页面常驻身份标识。改版后,用户投诉率下降,人工转接效率提升,监管抽查也顺利通过。
场景三:非欧盟企业进入欧盟市场
阶段:全球合规策略与市场准入判断。
解决的问题:很多 AI 公司先在东南亚或北美发布产品,再进入欧盟,结果发现风险等级、文档要求、监管机构都不同,返工成本极高。用风险分级方法提前评估,可以避免“先上车后补票”。
具体案例:一家亚洲安防公司想将智能门禁系统卖到欧盟。团队对照高风险清单后,发现该系统涉及生物识别身份管理,提前组建合规小组,补充数据保护影响评估、技术文档和人类监督机制,最终顺利通过欧洲客户的安全审查。
Python 演示
# A simple EU AI Act risk classifierPROHIBITED = {"social_credit", "exploitative_ai", "mass_surveillance"}HIGH_RISK = {"recruitment", "credit", "education", "critical_infra", "biometric"}LIMITED = {"chatbot", "deepfake", "emotion_analysis"} def classify(use_case): if use_case in PROHIBITED: return "unacceptable", ["direct_ban"] if use_case in HIGH_RISK: return "high", ["data_governance", "transparency_log", "human_oversight", "risk_management"] if use_case in LIMITED: return "limited", ["disclose_ai_identity"] return "minimal", ["baseline_transparency"] def main(): cases = ["chatbot", "recruitment", "social_credit", "spam_filter"] for case in cases: tier, duties = classify(case) print(case, "->", tier, "|", ", ".join(duties)) if __name__ == "__main__": main()
classify(use_case)输入用途名称,返回风险等级与义务清单,相当于文章中的法规定级函数 g(U(s))。if use_case in PROHIBITED集合成员判断,命中不可接受清单就直接返回“禁止部署”。return "high", ["data_governance", ...]高风险不是禁止,而是绑定一整套生命周期义务。if __name__ == "__main__":保证代码既可以作为模块导入,也能直接运行观察分级结果。
常见误区
误区参数量越大的 AI 模型,例如千亿级大语言模型,一定属于高风险;小模型则肯定属于低风险。
正解EU AI Act 看的是“用途”而非“体型”。一个千亿参数的聊天机器人可能只是有限风险,只需要向用户披露 AI 身份;而一个小型招聘排序模型,因为直接影响就业机会,反而会被划入高风险。未来之城不会因为校车体积大就给黄牌,而是因为它载的是孩子。
为何常见:人们习惯用“能力大小”推断“危险程度”,但监管关注的是现实伤害路径:一个很强的模型若只用于无关痛痒的场景,伤害面并不会自动扩大。
误区既然叫“高风险”,那这类 AI 是不是根本不允许上市?
正解高风险只是“准入更严格”,不是“直接禁入”。系统只要满足数据治理、透明度、人类监督、风险管理等义务,就可以合规上市。真正被禁的是“不可接受风险”,例如社会信用评分。类比未来之城,黄牌校车每天都在跑,只是跑之前要过更多检查;红牌车才永远不能上路。
为何常见:中文里的“高风险”容易被理解成“危险品”,但法律语境下它是“需要加强管理的类别”,并非一票否决。
误区一个 AI 系统被判定为某个等级后,就永远属于这个等级。
正解等级绑定的是“预期用途”。同一套模型,用于简历筛选是高风险的,改成内部邮件排序也可能变成最低风险;反过来,如果提供者明示了全新用途,就需要重新做分级评估。未来之城也是这样:校车退役后拆掉座位改成快递车,车牌照也会从黄牌换成绿牌。
为何常见:技术团队习惯了“模型版本不变”,容易忽略“部署场景变了、合规责任也要跟着变”。
误区只要产品上线前拿到合规报告,后续就可以不管了。
正解EU AI Act 的高风险义务是全生命周期的,包括持续监测、日志留存、重大事故报告和监管抽查配合。合规不是“出发前盖个章”,而是“整个航班都要有人看仪表盘”。未来之城的黄牌车每次出车前都要检,不是只在上牌那天检一次。
为何常见:传统软件行业习惯“上线即交付”,但 AI 系统会持续学习、更新数据、改变行为,监管因此要求的是过程而不是节点。
面试题
Q1. 欧盟 AI 法案对 AI 系统进行风险分级的主要依据是?
- A.模型参数量大小
- B.具体用途场景← 正确答案
- C.训练数据规模
- D.研发团队规模
答案:B。答案 B。EU AI Act 采用用途导向,系统跑在什么场景、影响什么人,决定它的风险等级。参数量、数据量、团队规模都不是分级依据,就像未来之城不看发动机马力,而看车上坐着谁。
Q2. 下列哪种 AI 应用属于不可接受风险?
- A.招聘简历初筛
- B.信用评分系统
- C.社会信用评分← 正确答案
- D.客服聊天机器人
答案:C。答案 C。社会信用评分被明确列为不可接受风险,面临直接禁止。招聘筛和部分信用评分属于高风险但可上市;聊天机器人属于有限风险。
Q3. 一辆“自动驾驶校车”应归入哪个风险等级?
- A.不可接受风险
- B.高风险类别← 正确答案
- C.有限风险类别
- D.最低风险类别
答案:B。答案 B。自动驾驶校车同时涉及关键基础设施与人身安全,属于典型高风险场景。它不是被禁止,而是必须满足严格的数据、透明度和人类监督义务。
Q4. 高风险 AI 系统的合规义务包括哪些?
- A.数据治理体系← 正确答案
- B.透明度记录要求← 正确答案
- C.人类监督安排← 正确答案
- D.禁止投入市场
答案:ABC。高风险系统可以进入市场,D 错误。数据治理、透明度记录和人类监督都是高风险系统的核心义务,三者同时达标才算合规,缺一不可。
Q5. EU AI Act 的风险分级采用哪种监管思路?
- A.技术中立与比例原则← 正确答案
- B.全行业一律最严监管
- C.对AI完全放任不管
- D.只按模型大小分级
答案:A。答案 A。技术中立保证不歧视特定技术路线,比例原则保证风险越高义务越重。这不是“严打”也不是“放养”,而是按伤害程度匹配监管强度。
Q6. 关于“同一 AI 模型”的分级,下列说法正确的是?
- A.训练完成后永远高风险
- B.随用途不同可跨等级← 正确答案
- C.只能属于最低风险
- D.只能属于有限风险
答案:B。答案 B。等级跟着预期用途走,同一个模型用于招聘筛选属于高风险,用于邮件排序可能只是最低风险。用途变化,等级就要重新评估。
Q7. 下列哪些属于 EU AI Act 列出的高风险场景?
- A.教育机会评估← 正确答案
- B.招聘与晋升决策← 正确答案
- C.执法中的生物识别← 正确答案
- D.网络广告推荐算法
答案:ABC。答案 A、B、C。教育、就业和执法中的生物识别都可能显著影响个人权利,属于高风险区域。普通网络广告推荐通常不触发高风险义务,只按有限风险做透明披露即可。
Q8. “布鲁塞尔效应”在 AI 监管中主要指什么?
- A.欧盟标准外溢成全球基准← 正确答案
- B.欧盟彻底放弃AI监管
- C.美国主导国际AI规则
- D.各国完全拒绝欧盟规则
答案:A。答案 A。因为欧盟市场规模巨大,企业为了入欧往往让全球产品线都遵守同一套标准,这使 EU AI Act 的分级方法成为全球事实基准,类似 GDPR 带来的影响。
Q9. 关于不可接受风险与高风险,下列说法正确的是?
- A.高风险系统仍可上市← 正确答案
- B.不可接受风险被直接禁止← 正确答案
- C.两者义务完全相同
- D.两者监管强度相同
答案:AB。答案 A、B。高风险系统只要满足严格义务就能上市,而不可接受风险被直接禁止。两者的义务和监管强度完全不同,不可混为一谈。
Q10. 一个 AI 系统同时用于“招聘初筛”和“内部邮件排序”时,最合规的做法是?
- A.统一按最低风险管
- B.统一按不可接受管
- C.按各用途分别定级← 正确答案
- D.不进入欧盟市场
答案:C。答案 C。风险等级绑定预期用途,因此系统在招聘场景必须按高风险义务管理,在内部邮件排序场景则可以按低风险处理。监管者允许同一系统在不同部署场景下分别评估,企业应分别记录、分别合规。