想象你是市场监管局的食安科长。你面前有成千上万家餐饮店:卖预包装零食的小超市、供应几千人饭食的学校食堂、现切三文鱼的日料店,还有做生腌的网红餐厅。你不能一视同仁——生腌处理不好,一单就能放倒几十人。所以你要制定一套《餐饮风险分级管理办法》:太危险的玩法直接禁止,重点的严格盯防,普通的尽到告知义务,低风险的基本不管。你还要定期复查、出事就重审、随时更新重点清单。 欧盟《人工智能法案》(EU AI Act)干的正是这件事,只不过监管对象从餐厅换成了AI系统。它把AI分成四档风险:不可接受的直接禁用,高风险严格监管,有限风险只需透明义务,最小风险自愿遵从。最关键的“高风险”判定不是拍脑袋,而是有明确清单(附件三)、判定条件、决策树和动态调整机制。本课程带你完整走一遍这套“食品安全分级”流程,让你看到任何AI系统,都能像食安科长一样快速判断它的“卫生等级”。

岗位关联

对AI从业者来说,高风险分类直接决定产品能否进入欧盟市场、需要投入多少合规成本。掌握这套判定逻辑,你就能在项目立项时提前规避风险、合理规划预算,避免产品上市后被下架或面临最高3500万欧元的罚款。

目录
  1. 可视化演示
  2. 法案风险分级
  3. 附件三清单
  4. 判定条件
  5. 分类决策树
  6. 合规义务
  7. 评估机制
  8. 动态调整
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示欧盟AI法案四级风险分级体系、高风险AI分类决策树流程,以及高风险认定后的六项核心合规义务。

本节配有交互动效(进入视口后自动加载,约 3KB)。

四级风险分级监管框架 BAN=不可接受 禁止部署 HIGH=高风险 严格合规 MIN=最小风险 无义务 4级:BAN/HIGH/LIM/MIN 基于风险的分级监管,不同等级对应不同义务

法案风险分级

食品安全科长的抽屉里永远压着一张分级表。表上把餐饮业态分成四档:第一档“直接禁止”,比如无资质制作自制肉罐头——肉毒杆菌风险太高,连试都不让你试;第二档“重点监管”,生食海产、集体供餐必须每天留样、持证上岗;第三档“透明义务”,普通外卖店只要把资质亮出来、明示食品信息;第四档“基本自由”,卖包装零食的小店几乎不受约束。

EU AI Act 的核心框架就是这张分级表,只是把“餐饮业态”换成“AI系统”。法案第五条划出不可接受风险——社会信用评分、利用潜意识操纵行为的系统直接禁止投放市场;第六条及附件三对应高风险档,承担最重义务;有限风险档(如聊天机器人、深度伪造)只需履行透明告知义务;最小风险档(如垃圾邮件过滤器)不受强制监管,企业可自愿采纳行为准则。法案还有长臂管辖:只要你的AI系统面向欧盟用户投放、或产出结果被欧盟内使用,哪怕公司注册在中国,同样适用。违反者最高可被处以3500万欧元或全球营业额7%的罚款,普通违规也要面临1500万欧元或3%的罚单。

这套分级不是玄学,背后是一个朴素的风险定义:风险等于危害发生的概率乘以危害的严重程度。欧盟参考产品安全领域的经典范式,把AI系统对人“健康、安全与基本权利”的影响量化成风险值,再按风险值落进四个档位。

所以食安科长看一家店,先问的不是“它卖什么”,而是“它出事概率多大、出事多严重”。AI合规团队看一个系统同理:先估风险值,再决定它进哪个档位、背多少义务。

R=P危害×S危害\displaystyle R = P_{\text{危害}} \times S_{\text{危害}}
风险的本质是可能性与破坏力的乘积。概率再小,只要后果是致命的,风险值就压不住;反之天天出小差错,同样需要管控。
  1. $P_{\text{危害}}$危害发生的概率。就像生食档口每天处理几十份生鲜,污染风险天然高于只卖预包装零食的小店。AI领域的对应问题是“这个系统在多大可能上会出错、被滥用或被绕过”。
    P危害=Pr⁡(对健康/安全/基本权利产生负外部性)P_{\text{危害}} = \Pr(\text{对健康/安全/基本权利产生负外部性})
  2. 乘号 $\times$概率与严重度的乘积关系。只用一者判断都会失之偏颇——十年一遇但一遇就是群体事件的,和每天都小吵小闹但无伤大雅的,都应该被纳入视野。EU AI Act 的分级本质上就是对 $R$ 值域的分割。
    R=P×SR = P \times S
  3. $S_{\text{危害}}$危害的严重程度。食品法按健康伤害、死亡、群体事件定级;AI法案则增加了“基本权利”维度——隐私泄露、歧视、尊严侵害、自由受限,都是严重后果。
    S危害=Severity(健康, 安全, 基本权利)S_{\text{危害}} = \text{Severity(健康, 安全, 基本权利)}

附件三清单

分级表有了,下一步是“重点监管名录”。食安科长的名录上写着:学校食堂、养老院后厨、生食加工间、集体用餐配送单位……凡是服务人群集中、出事波及面广的业态,一律上榜。榜单一挂,谁也别想装看不见。

EU AI Act 的“榜单”就是附件三(Annex III),一份覆盖八大高风险领域的AI用途清单。注意:它不按“AI技术本身”分类,而是按“部署场景”分类。同样是图像识别,用在门禁打卡(一般)和用在执法远程识别(高风险),命运完全不同。所以判断第一步永远是:我的系统用在哪里?

附件三八大领域包括:① 远程生物识别系统(含对自然人分类);② 关键基础设施的安全组件(交通、供水、能源);③ 教育与职业培训(入学评估、考试评分);④ 就业与员工管理(招聘筛人、晋升、解雇);⑤ 基本公共服务(社保福利资格、信用评估、紧急调度);⑥ 执法活动(犯罪风险评估、个体画像、证据分析);⑦ 移民、庇护与边境管理(签证审查、身份核验);⑧ 司法与民主进程(法律检索辅助、审判结果影响、选举影响)。两点提示:其一,“远程生物识别”中的实时识别在公共空间原则上被禁止,附件三里管的更多是非实时身份识别与分类;其二,这些领域只是“高风险候选池”,最后是否落定还要看下一节的判定条件。

名录的威力在于“可预期”。食安科长的名单每年修订,上榜业态清楚知道自己要做什么;AI厂商同样能拿出附件三对照自己的产品矩阵——做招聘系统的盯第④项,做信贷风控的看第⑤项,一条条对,答案自然浮出水面。

AIII=⋃i=18Di\displaystyle A_{\text{III}} = \bigcup_{i=1}^{8} D_i
附件三是八个风险场景集合的并集。你的系统只要落进任何一个 $D_i$,就进入了高风险候选池。
  1. $D_i$八大领域中的每一个子集。$D_1$ 是远程生物识别,$D_2$ 是关键基础设施……每个领域内部还有更细的“用途描述”。判断一个系统是否属于 $D_i$,看的是部署场景而非技术栈。
    Di={x∣x 被部署在第 i 个高风险场景}D_i = \{x \mid x \text{ 被部署在第 } i \text{ 个高风险场景}\}
  2. 并集 $\bigcup$八大领域的聚合关系。只要命中任意一个 $D_i$ 就进入候选池,不需要同时命中多个。反之,如果系统不属于任何 $D_i$,则直接退出高风险通道(除非命中附件一安全组件)。
    x∈AIII  ⟺  ∃i∈{1,…,8}:x∈Dix \in A_{\text{III}} \iff \exists i \in \{1,\dots,8\}: x \in D_i

判定条件

上名录不等于被锁死。食安科长会给名单加一行小字:“仅从事预包装食品销售且不现场加工的单位,可免于重点监管。”上榜的超市如果只卖真空包装零食,不进操作间、不动刀,就可以降档。关键是看它“实际干什么”。

附件三只是“高风险候选池”,判定条件决定谁真正入池。EU AI Act 给了双向逻辑:一方面,作为附件一所列产品(如医疗器械、机械、玩具)安全组件的AI系统,天然构成高风险,与附件三无关;另一方面,附件三系统如果只执行“狭窄程序性任务”、仅改善人类已完成活动的结果、只检测决策模式偏离、或只做评估前的准备性工作,且不涉及画像分析、不实质影响决策结果,则可豁免为非高风险。换句话说:如果AI只是辅助角色,最终决定权在人,它的输出内容不构成实质性决策依据,豁免的可能性就很大。

把条件写成判定公式更清楚。$x$ 代表一个具体的AI系统,公式右侧第一个分支“附件一产品安全组件”指向第六条第(1)款的独立入口;第二个分支要求“命中附件三”与“豁免不成立”同时成立。这里最容易踩的坑是“画像分析”:哪怕某系统在附件三领域只做辅助推荐,只要它对自然人画像并据此影响其重大决策(求职、贷款、入学),豁免通道即关闭。

就像超市因为“不现场加工”而免于重点监管,AI系统也可以靠“只做窄任务、不实质影响决策”脱身。关键是留好证据——将来要向监管机构证明你确实只做了这些事。

HR(x)=SAI(x)⏟附件一产品安全组件∨[AnnexIII(x)⏟命中附件三∧¬Exc(x)⏟豁免成立]\displaystyle \text{HR}(x) = \underbrace{\text{SA}_{\text{I}}(x)}_{\text{附件一产品安全组件}} \lor \left[ \underbrace{\text{AnnexIII}(x)}_{\text{命中附件三}} \land \lnot \underbrace{\text{Exc}(x)}_{\text{豁免成立}} \right]
高风险 = 附件一安全组件,或者(命中附件三 且 不豁免)。只要有一个通道为真,系统就是高风险。
  1. $\text{SA}_{\text{I}}(x)$x 是否为附件一所列产品的安全组件。例如医疗影像AI作为CT设备的软件组件,失效可能危及患者生命,因此直接从产品法规通道进入高风险。
    SAI(x)=1⇒HR(x)=1\text{SA}_{\text{I}}(x) = 1 \Rightarrow \text{HR}(x) = 1
  2. 析取 $\lor$逻辑“或”。两个入口是并列关系,任意一个成立即判定为高风险。
    0∨1=1,1∨0=1,0∨0=00 \lor 1 = 1, \quad 1 \lor 0 = 1, \quad 0 \lor 0 = 0
  3. $\text{AnnexIII}(x)$x 是否命中附件三八大领域之一。这是候选池的准入证。
    AnnexIII(x)=1  ⟺  x∈AIII\text{AnnexIII}(x) = 1 \iff x \in A_{\text{III}}
  4. $\text{Exc}(x)$豁免是否成立。四类豁免情形(窄程序任务/改善人类活动/检测偏差/准备性任务)只要命中其一,且无画像、无实质影响,豁免为真。
    Exc(x)=Narrow(x)∨Improve(x)∨Detect(x)∨Prep(x)\text{Exc}(x) = \text{Narrow}(x) \lor \text{Improve}(x) \lor \text{Detect}(x) \lor \text{Prep}(x)
  5. 合取与否定 $\land, \lnot$中括号里是“命中附件三”与“非豁免”的并立关系——只有两者同时为真,第二个高风险通道才打开。
    AnnexIII(x)∧¬Exc(x)\text{AnnexIII}(x) \land \lnot \text{Exc}(x)

分类决策树

食安科长把分级表、名录、豁免条款钉在一起,做成一张流程图贴在办公室:第一步看有没有加工操作,第二步看加工方式是否在名录,第三步看有没有豁免……每一步都画着箭头,走到头就是结论。这张图,就是决策树。

EU AI Act 的高风险认定同样是一条标准流程。合规人员不需要凭感觉拍脑袋,只要拿着系统信息一步一步走流程。欧盟AI办公室和各成员国标准机构都绘制过这样的决策树,步骤不完全相同但逻辑一致。这棵树的输出,直接决定企业接下来走“自我评估”还是“第三方评估”。

标准决策树分四步:第一步,系统是否是附件一所列产品的安全组件(且该产品需第三方合格评定)?是→高风险。第二步,否则,系统是否命中附件三八大领域?否→非高风险(可能落入有限/最小档)。第三步,若是,是否满足任一豁免情形?满足且无画像、无实质影响→非高风险。第四步,是否对自然人画像或实质影响决策结果?是→高风险;否→非高风险。整个流程可形式化为一个分段分类函数,其中 $T_{\text{I}}$ 是附件一产品通道,$A_{\text{III}} \setminus \text{Exc}$ 表示“附件三中未被豁免的部分”。

有了这张流程图,食安科长不再需要每次开会争论“网红餐厅到底算不算高风险”,照着箭头走即可。AI团队也一样——把流程图画进合规手册,新人三天就能上手做初判。

f(x)={高风险x∈TI高风险x∈AIII∖Exc非高风险其他情况\displaystyle f(x) = \begin{cases} \text{高风险} & x \in T_{\text{I}} \\ \text{高风险} & x \in A_{\text{III}} \setminus \text{Exc} \\ \text{非高风险} & \text{其他情况} \end{cases}
决策树把“是不是高风险”从一道主观题变成了客观的排查流程:先查产品法规通道,再查领域清单,最后查豁免与实质影响。
  1. $f(x)$分类函数,输入是系统描述,输出是风险标签。值域就是 {高风险,非高风险},有限风险与最小风险属于“非高风险”方向的延伸。
    f:系统描述→{高风险,非高风险}f: \text{系统描述} \to \{\text{高风险}, \text{非高风险}\}
  2. $x \in T_{\text{I}}$第一分支“附件一产品安全组件”。用集合成员关系表达“命中产品法规通道”,一旦命中无条件高风险。
    x∈TI⇒f(x)=高风险x \in T_{\text{I}} \Rightarrow f(x) = \text{高风险}
  3. $A_{\text{III}} \setminus \text{Exc}$集合差。表示“在附件三清单中,但不在豁免集合中”的系统。$A_{\text{III}}$ 是候选池,$\text{Exc}$ 是豁免集,两者相减剩下的,就是必须严管的。
    AIII∖Exc={x∣x∈AIII∧x∉Exc}A_{\text{III}} \setminus \text{Exc} = \{x \mid x \in A_{\text{III}} \land x \notin \text{Exc}\}
  4. 其他情况兜底分支。包括“不命中附件三”“命中附件三但被豁免”等情形,统一落到非高风险。注意:非高风险不等于无人管,还要看是否落入有限档的透明义务。
    x∉TI∧(x∉AIII∨x∈Exc)⇒f(x)=非高风险x \notin T_{\text{I}} \land (x \notin A_{\text{III}} \lor x \in \text{Exc}) \Rightarrow f(x) = \text{非高风险}

合规义务

被定为高风险的餐厅,日子可就不轻松了:后厨要装明厨亮灶摄像头,食材要留样48小时,员工要办健康证,台账要记得清清楚楚。食安科长还会不定期来查。这些不是选择题,是强制动作。

高风险AI系统对应的“强制动作”,是 EU AI Act 第三章规定的全套义务体系。它面向供应链每个环节:提供者承担最重责任,部署者、进口商、分销商各负其责。核心义务可以压缩成一句话:从出生到退役,系统全生命周期都在监管视线内。

具体包括五大支柱:① 风险管理系统,持续识别、评估、缓解风险,且要随市场反馈迭代;② 数据治理,训练数据须相关、具代表性,并接受偏见审查;③ 技术文档,投放市场前就要备好完整文档供监管核查;④ 透明与人工监督,用户要被告知在与AI交互,且系统设计必须允许自然人介入、干预、否决;⑤ 准确性、稳健性与网络安全,以及上市后监测与严重事件报告。它们的关系是“且”字结构——任何一项缺失都视为不合规。

明厨亮灶看似麻烦,却让顾客吃得放心、让监管有据可查。AI领域同理:风险管理系统与技术文档不是官僚负担,而是“出事时能说清楚”的护身符——尤其当你的系统被监管部门抽查时,文档就是你的第一道防线。

HR(x)⇒(RMS(x)∧DG(x)∧TD(x)∧HO(x)∧PMM(x))\displaystyle \text{HR}(x) \Rightarrow \left( \text{RMS}(x) \land \text{DG}(x) \land \text{TD}(x) \land \text{HO}(x) \land \text{PMM}(x) \right)
高风险认定一锤定音后,五类义务全部绑定。每个缩写代表一套详尽的执行规范,企业必须建立体系化合规能力。
  1. $\text{HR}(x)$前提条件。$x$ 被判定为高风险,是义务触发的开关。注意箭头不可逆——高风险必有义务,但有义务不一定高风险(有限风险档也有部分透明义务)。
    HR(x)=1⇒开启全部义务\text{HR}(x) = 1 \Rightarrow \text{开启全部义务}
  2. 蕴含 $\Rightarrow$严格的逻辑推理关系,表达“强制、无例外”。不是建议,不是最佳实践,而是法律底线。
    P⇒Q≡¬P∨QP \Rightarrow Q \equiv \lnot P \lor Q
  3. 五项合取 $\land$RMS(风险管理系统)、DG(数据治理)、TD(技术文档)、HO(人工监督)、PMM(上市后监测)必须同时为真。像餐厅的“摄像头+留样+健康证+台账”一样缺一不可。
    RMS∧DG∧TD∧HO∧PMM\text{RMS} \land \text{DG} \land \text{TD} \land \text{HO} \land \text{PMM}
  4. 义务强度与风险匹配义务不是均匀涂抹,而是与风险等级成比例——高风险背全量义务,有限风险只背透明义务,最小风险零强制。这正是“比例原则”的体现。
    义务量∝R(x)\text{义务量} \propto R(x)

评估机制

高风险的餐厅也不能全等政府来查——那得排队排到明年。于是制度设计成两条路:一般餐饮企业自己按检查表自检、留档备查;涉及集体供餐、学生营养餐的高危业态,必须有第三方检测机构出具报告。两条路,对应不同的信任等级。

EU AI Act 把合格评定也分成两种模式:自我评估(基于内部控制)与第三方评估(经公告机构)。关键结论先说:绝大多数附件三高风险AI系统,走自我评估通道;而作为附件一所列产品安全组件的AI系统,因为产品本身(医疗器械、机械等)历来要求第三方认证,因此必须由公告机构参与。

自我评估的流程是:提供者按附件六模板准备技术文档,执行合格评定程序,签署欧盟合规声明,然后在欧盟数据库注册。第三方评估则多出一个关键角色——公告机构(Notified Body),这种机构由成员国主管机关指定,审核通过后签发证书,证书是产品合法流通的通行证。选择哪个通道不由企业偏好决定,而由系统在决策树中的落点决定:落在 $T_{\text{I}}$ 通道走第三方;落在附件三通道走自我评估。

就像学生营养餐必须有第三方检测报告一样,涉及物理安全的产品级AI必须经过外部“裁判”;而纯软件型AI更像普通餐馆的自检报告——成本低、效率高,但一旦抽查发现问题,处罚会更重。两种模式没有高下之分,只有匹配度问题。

模式(x)={第三方x∈TI (附件一产品安全组件)自我评估x∈AIII∖TI\displaystyle \text{模式}(x) = \begin{cases} \text{第三方} & x \in T_{\text{I}} \ (\text{附件一产品安全组件}) \\ \text{自我评估} & x \in A_{\text{III}} \setminus T_{\text{I}} \end{cases}
评估模式由分类结果自动推导:产品法规通道对应第三方,附件三通道对应自我评估。两条路都通向CE标志与欧盟市场准入。
  1. $\text{模式}(x)$合格评定路径函数,以系统描述为输入,输出“第三方”或“自我评估”。它是分类决策树的下游环节。
    模式:系统→{自我评估,第三方}\text{模式}: \text{系统} \to \{\text{自我评估}, \text{第三方}\}
  2. $x \in T_{\text{I}}$落在附件一产品安全组件通道的系统,强制第三方。因为这类产品(医疗器械、汽车安全件、压力设备等)本就有独立的第三方强制认证传统,AI嵌入后自然继承。
    x∈TI⇒模式=第三方x \in T_{\text{I}} \Rightarrow \text{模式} = \text{第三方}
  3. $A_{\text{III}} \setminus T_{\text{I}}$附件三通道且不属于附件一产品的系统,走自我评估。这是多数纯软件AI(招聘系统、信用评估系统)的归宿。
    x∈AIII∖TI⇒模式=自我评估x \in A_{\text{III}} \setminus T_{\text{I}} \Rightarrow \text{模式} = \text{自我评估}

动态调整

食安科长的名单不是铁板一块。夏天高温,生腌风险升级,要临时加检;某地爆出集体食物中毒,全城同类业态立刻复查;新技术出现,比如预制菜火了,明年名录就要新增“预制菜中央厨房”。监管是活水,不是死水。

EU AI Act 同样内置了动态调整机制,让“高风险名单”跟上技术演进。动态性体现在三个层面:规则层面,欧盟委员会可以通过授权法案增删附件三的领域,把新出现的高风险AI用途纳入监管;系统层面,提供者在系统发生“重大修改”时必须重新走分类与合格评定;市场层面,上市后监测与市场监管机构的执法反馈,会不断产生重新评估的触发信号。

重大修改是实务中最容易踩雷的点——不是改一行代码就算,也不是改个小参数就算。欧盟指南强调,当修改改变了系统的预期用途、或显著影响了风险水平(如更换训练数据分布、升级模型架构、接入新数据源),即触发重新评估。市场监测方面,提供者要建立投诉与严重事件上报渠道,市场监管机构对违规产品可采取下架、召回、要求整改等措施。此外,基础模型的兴起促使法案在附件三之外单设了通用AI义务,未来的动态调整可能更频繁。

就像夏天生腌店被临时加检、出事就全城复查一样,AI系统上线不是终点,而是持续合规的起点。聪明的团队会把“动态调整”设计成流程:定期复审、版本变更触发条件写进CI/CD、监测事件自动通知合规负责人。

分类(t+1)=g(分类(t),Δ重大变更(t),监测事件(t))\displaystyle \text{分类}(t+1) = g\left( \text{分类}(t), \Delta \text{重大变更}(t), \text{监测事件}(t) \right)
下一时刻的风险分类,由当前分类、是否发生重大变更、监测到的事件共同决定。分类是一个随时间演化的状态变量。
  1. $\text{分类}(t)$t 时刻系统的风险分类。分类不是一次性标签,而是带时间戳的状态。$t$ 可以是版本发布节点,也可以是监测周期的序号。
    分类:N时刻→{高风险,非高风险}\text{分类}: \mathbb{N}_{\text{时刻}} \to \{\text{高风险}, \text{非高风险}\}
  2. $\Delta \text{重大变更}(t)$t 时刻是否发生重大修改。它是一个示性变量(0或1),1代表“预期用途改变”或“风险水平显著上升”。
    Δ重大变更=1[用途变化∨风险显著上升]\Delta \text{重大变更} = \mathbb{1}[\text{用途变化} \lor \text{风险显著上升}]
  3. $\text{监测事件}(t)$t 时刻前后的市场监测信号集合,包括严重事件报告、投诉、监管机构抽查结论。这相当于食安科长的“投诉热线+抽检记录”。
    监测事件={严重事件,投诉,抽查结论}\text{监测事件} = \{\text{严重事件}, \text{投诉}, \text{抽查结论}\}
  4. 更新函数 $g(\cdot)$把三路输入综合成新分类的规则。它承接了前面全部判定逻辑:有重大修改就重新走决策树;监测发现新风险就可能从“非高风险”翻转为“高风险”。
    g(⋅)=决策树(当前状态,变更,监测)g(\cdot) = \text{决策树}\left( \text{当前状态}, \text{变更}, \text{监测} \right)

AI 应用场景

面向欧盟市场的HR SaaS产品立项定级

阶段:产品立项 / 合规评估

解决的问题:传统做法是法务人工逐条比对法案条款,耗时数周且容易漏判,很多团队直到产品快上线才发现分类错误。用分类决策树把风险判定前置到产品设计阶段,可以把合规成本算进预算。

具体案例:某招聘平台开发“简历智能筛选”功能,按决策树走:系统命中附件三第④类(就业与员工管理),不是附件一产品安全组件;它虽然只做排序,但排序结果直接影响面试邀约,属于“实质影响决策”,不满足豁免条件——判定为高风险。团队因此在立项时就规划了技术文档编写与风险管理系统预算。

医疗影像AI的第三方评估

阶段:合格评定 / 上市前认证

解决的问题:纯自我声明无法满足附件一产品(医疗器械)的法定认证要求,如果误走自我评估通道,产品会被监管拦截甚至召回。

具体案例:某影像AI作为X光机的辅助诊断软件组件,被判定为附件一产品安全组件,必须向公告机构提交附件四技术文档、完成第三方审核,获证后才能贴CE标志进入欧盟医院。评估周期从3个月拉长到12个月,团队据此调整了上市排期。

上市后风险监测触发重新分类

阶段:上市后监测

解决的问题:分类会动态变化,企业不能上线后撒手不管;忽视监测信号可能导致在不知情的情况下持续违规。

具体案例:某信贷评分AI上线后被投诉对少数群体存在系统性偏差,市场监管机构介入调查;同时欧盟委员会拟通过授权法案将“金融信用评估深度个性化”纳入附件三第⑤类。该企业被迫启动重新评估,补充公平性测试数据,并建立季度复审机制。

Python 演示

python66 行
# -*- coding: utf-8 -*-"""EU AI Act high-risk AI classifier demo""" ANNEX_III_AREAS = {    1: "远程生物识别",    2: "关键基础设施",    3: "教育与职业培训",    4: "就业与员工管理",    5: "基本公共服务",    6: "执法活动",    7: "移民庇护边控",    8: "司法民主进程",}  class HighRiskClassifier:    def __init__(self):        self.area_name = ""        self.reason_list = []     def classify(self, area, safety_component=False, profiling=False,                 material_influence=False, narrow_task=False,                 improves_human=False, detects_deviation=False,                 preparatory=False):        self.reason_list = []        if area not in ANNEX_III_AREAS:            self.reason_list.append("不在附件三八大领域内")            return "非高风险"         self.area_name = ANNEX_III_AREAS[area]        self.reason_list.append("命中附件三: " + self.area_name)         exempt = (narrow_task or improves_human                  or detects_deviation or preparatory)        if exempt and not profiling and not material_influence:            self.reason_list.append("满足豁免且无画像/实质影响")            return "非高风险"         if safety_component:            self.reason_list.append("属于附件一产品安全组件")        if profiling:            self.reason_list.append("对自然人进行画像分析")        if material_influence:            self.reason_list.append("实质影响决策结果")        return "高风险"  def main():    clf = HighRiskClassifier()    cases = [        {"area": 4, "profiling": True},        {"area": 3, "narrow_task": True},        {"area": 99},        {"area": 5, "material_influence": True},        {"area": 2, "safety_component": True},    ]    for case in cases:        label = clf.classify(**case)        print("系统:", clf.area_name or "未知场景", "->", label)        for reason in clf.reason_list:            print("  - " + reason)        print()  if __name__ == "__main__":    main()
目的:用一棵简化版决策树,对典型AI系统做高风险初判,并输出完整判定理由链,方便合规团队批量评估产品矩阵。
  1. ANNEX_III_AREAS = {把附件三八大领域做成字典,等于食安科长的“重点名录”,查起来一目了然。
  2. self.reason_list = []初始化空列表记录每一步判断理由,相当于检查表的“留痕”动作。
  3. if area not in ANNEX_III_AREAS:决策树第一步:不在名录内,直接判非高风险。
  4. exempt = (narrow_task or improves_human or detects_deviation or preparatory)把四类豁免情形“或”起来:命中一个,豁免开关就为真。
  5. if exempt and not profiling and not material_influence:豁免成立且没有画像、没有实质影响,三重条件同时满足才能降档。
  6. if safety_component:附件一安全组件是独立高风险通道,补记进理由链。
  7. label = clf.classify(**case)用关键字参数批量跑用例,模拟合规团队给多个产品同时做初判。

常见误区

误区我的AI做电商推荐、游戏NPC,肯定不在附件三里,那它就不是高风险,彻底不用管了。

正解判定高风险有两条通道:附件三只是其一,另一条是“附件一所列产品的安全组件”。比如某AI是医疗器械的软件组件,哪怕用途完全不在附件三八大领域,也直接构成高风险。判断时必须先过“附件一产品通道”,再查附件三。

为何常见:很多科普文章只讲附件三清单,让人误以为它是唯一入口,忽略了产品法规通道的存在。

误区我们的系统做招聘筛选,一看在附件三第④类里,那肯定就是高风险,直接按最重义务准备吧。

正解还要检查豁免与实质影响:如果系统只做窄程序任务(比如把简历按关键词排序并交由HR人工决策),不涉及画像、不实质影响录用结果,可豁免为非高风险。反过来,如果排序权重直接决定是否进入面试,则仍属高风险。

为何常见:只看到“高风险领域清单”的字面,没看到第六条第(3)款的排除性条款。

误区反正没人来查,自我评估我随便填个模板交差就行。

正解自我评估与第三方评估走的是不同的信任链条,不代表责任更轻。企业仍需按附件六准备完整技术文档、运行风险管理系统、签署合规声明并注册欧盟数据库。监管抽查一旦发现造假或缺失,按普通违规最高可罚1500万欧元或全球营业额3%。

为何常见:“自我”二字让初学者误以为等同于“无约束力”,忽视了法律文书背后的责任后果。

误区既然都高风险了,肯定都要找公告机构做认证,预算按最贵的准备。

正解实际上多数附件三纯软件AI走自我评估通道;只有作为附件一产品安全组件的AI才强制第三方公告机构评估。先看分类落点,再定评估路径,能省下大量合规成本。

为何常见:把“高风险”和“第三方认证”划等号,忽视了EU AI Act 合格评定的分级设计。

误区产品上线时评审通过了,以后迭代更新都不用再管分类了。

正解分类是动态状态:重大修改(预期用途改变或风险显著上升)必须重新走合格评定;上市后监测发现新风险可能被监管重新定级;委员会还能通过授权法案增删附件三领域,未来新增领域可能把你拉进高风险。

为何常见:用静态思维看动态规则,忽略了法规的时间维度。

面试题

Q1. EU AI Act 将AI系统划分为几个风险等级?

单选题 · easy

  • A.两个等级
  • B.三个等级
  • C.四个等级← 正确答案
  • D.五个等级

答案:C。EU AI Act 建立四级风险框架:不可接受(禁止)、高风险、有限(透明义务)、最小(自愿),对应餐饮分级里的“禁止、重点监管、公示、基本自由”。四个选项只有C说对了档位数。

Q2. 下列哪类AI系统属于“不可接受风险”而被禁止?

单选题 · easy

  • A.公共空间执法用远程识别
  • B.基于社会行为的信用评分← 正确答案
  • C.教育领域的自动评分工具
  • D.农业领域的病虫预测分析

答案:B。第五条禁止不可接受风险做法,典型代表是公共机构基于社会行为/特征的信用评分(社会信用体系),因为它系统性歧视且侵害尊严。A是高风险但执法有严格例外而非一律禁止;C是附件三高风险;D通常不落入高风险范围。本题考的是“禁止”而非“高风险”。

Q3. 附件三列出的高风险领域不包括以下哪项?

单选题 · mid

  • A.远程生物识别系统
  • B.关键基础设施管理
  • C.电商商品推荐系统← 正确答案
  • D.司法审判辅助工具

答案:C。附件三八大领域是远程生物识别、关键基础设施、教育、就业、公共服务、执法、移民、司法,没有“电商推荐”。电商推荐属于有限风险/透明义务范畴,绝不进高风险清单。

Q4. 某简历筛选AI命中附件三“就业”领域,但仅执行关键字检索且不直接决定录用结果,应如何分类?

单选题 · mid

  • A.必然属于高风险
  • B.可豁免为非高风险← 正确答案
  • C.必然被直接禁止
  • D.必须走第三方认证

答案:B。该AI只做关键词检索、不决定录用,属于“窄程序任务”豁免,且未涉及画像、未实质影响决策,因此可豁免为非高风险。但若排序结果直接决定录用邀约,豁免即关闭,回到高风险。

Q5. 以下哪些情形会让附件三AI被判定为高风险?

多选题 · mid

  • A.执行窄程序任务且不影响决策
  • B.对自然人进行画像分析← 正确答案
  • C.实质影响重要决策结果← 正确答案
  • D.仅是前期准备性任务

答案:BC。B画像分析和C实质影响决策是高风险的关触发条件;A窄程序任务和D准备性任务都是法定豁免情形,不会触发高风险。豁免成立且无实质影响,系统才能降档为非高风险。

Q6. 关于高风险AI的合格评定,下列说法正确的是?

单选题 · mid

  • A.高风险AI一律需公告机构认证
  • B.附件三AI多数可自我评估← 正确答案
  • C.自我评估无需保留任何文档
  • D.自我评估仅适用于低风险系统

答案:B。附件三高风险AI多数适用内部自我评估(附件六技术文档+合规声明+数据库注册);第三方评估只针对附件一产品安全组件等特定通道。A把第三方泛化到所有高风险,C、D对自我评估的约束力理解错误。

Q7. 附件三AI系统的法定豁免条件包括?

多选题 · hard

  • A.仅执行狭窄的程序性任务← 正确答案
  • B.改善已由人类完成的活动结果← 正确答案
  • C.检测决策模式偏离并进行纠正← 正确答案
  • D.使用生成式大模型输出结果

答案:ABC。第六条第(3)款的豁免情形包括窄程序任务(A)、改善人类活动结果(B)、检测决策模式偏离(C)。D“生成式模型输出”不是豁免条件——生成式输出恰恰可能带来实质影响,需要单独评估画像与决策影响。

Q8. 附件一产品(如医疗器械)的AI安全组件发生“重大修改”后,企业应当?

单选题 · hard

  • A.无需进行任何额外操作
  • B.重新进行合格评定程序← 正确答案
  • C.仅更新营销宣传物料
  • D.只需告知终端用户即可

答案:B。重大修改指预期用途改变或风险水平显著上升的变更,欧盟指南明确要求重新走合格评定。不重新评定、不更新技术文档,都属于持续违规,监管可要求产品下架。

Q9. 关于高风险分类的动态调整机制,下列说法正确的有?

多选题 · hard

  • A.委员会可授权增删附件三领域← 正确答案
  • B.上市后监测可触发重新评估← 正确答案
  • C.分类一旦确认就永久有效
  • D.显著修改需重新走分类流程← 正确答案

答案:ABD。动态调整三渠道:委员会授权法案增删附件三(A)、上市后监测发现新风险触发重新评估(B)、重大修改重新走流程(D)。C“永久有效”是错误的——分类是随时间和事件演化的状态变量。

Q10. 下列哪种情形依据第六条第(1)款独立构成高风险,而不依赖附件三?

单选题 · extreme

  • A.作为医疗器械产品安全组件的AI← 正确答案
  • B.用于电商商品推荐的排序AI
  • C.用于垃圾邮件过滤的辅助AI
  • D.用于游戏角色行为模拟的AI

答案:A。第六条第(1)款是独立通道:作为附件一所列产品(如医疗器械、机械)安全组件的AI,无论是否命中附件三,都直接构成高风险。B、C、D都不属于附件一安全组件场景,不会被该条款捕获。