高风险AI系统合规要求

可视化演示

展示欧盟AI Act下高风险AI系统的六维合规义务雷达图(DATA/DOC/TRSP/HUMN/MON/SEC)及合格评定六步流程(ID→AS→DC→RV→CE→MN)，理解合规体系全貌。

认定标准

景区管委会手里有一份《高风险设施名录》——载客量、运行高度、跨越距离达标的索道统统入册，而山脚卖棉花糖的小推车、售票处的自动喇叭根本不在名单上。AI Act的第一件事，就是先解决“高风险”的对号入座问题。

它用附件三（Annex III）划定了八大高风险场景：生物识别与分类、关键基础设施的安全组件、教育招生与评估、招聘与用工管理、基本公共服务与信贷保险、执法司法、移民与边境管理、司法与民主进程。判定规则不是“模型够不够聪明”，而是“用在什么场景、管不管人命和基本权利”。

具体分三步：第一，系统是否落入附件三的某个场景；第二，它是否构成某种产品的安全组件，或者本身就是独立产品；第三，是否属于“只做辅助性流程、不实质影响决策结论”的例外情形。三个条件合起来，才构成“高风险”的最终结论。

实践中，“是否属于例外”往往最难证明。监管的潜台词是：宁可高估风险，也不能让真正危险的系统漏网——就像景区宁可把偏远的玻璃栈道也列入名录、加装护栏，也不愿少管一座。

合规义务清单

一旦索道进了高风险名录，管委会就甩来一本《索道安全运行章程》：钢丝绳每日目检、轴承每月探伤、操作员持证上岗、恶劣天气停运标准……每一条都是强制项，没有“差不多的企业标准”可替代。AI Act对高风险系统同样开出了义务清单，藏在第三章里，共七大类要求。

这七大要求是：风险管理体系（产品全生命周期识别与缓解风险）、数据治理（训练和验证及测试数据的质量）、技术文档（证明合规的完整档案）、自动记录日志（系统运行全程留痕）、透明度与信息告知（把能力和局限讲清楚）、人类监督（人能看懂、能打断、能叫停）、准确性/鲁棒性/网络安全（性能达标、抗攻击、扛干扰）。此外，提供商还要建起质量管理体系，把这串义务日常化。

这些义务不是“选重点做几项”，而是串联电路——每一项都是开关，全部闭合系统才能通电。

所以合规团队最忌讳“抓大放小”：一个不起眼的日志功能漏了，CIO 眼里的“九十分合规”在法律眼里就是零分。景区绝不会因为索道整体质量好，就放过那根有裂纹的钢丝绳。

数据治理

索道的安全根子在材料：钢缆必须同一批次、经过拉伸试验、能追溯到钢厂和矿源，谁也不敢用来路不明的二手钢丝。AI系统的“钢缆”就是它的训练数据——数据脏、偏、假，系统再聪明也会在关键时刻掉链子。

AI Act第10条把数据治理抬到了与硬件材料同等的地位：训练、验证、测试三套数据集都要满足“相关、具代表性、无错误、完整”四个要求。设计数据集时必须考虑系统的预期用途，以及可能被影响的地区、人群、年龄与性别结构；还要建立偏差检测与纠正机制，从源头上防住歧视性输出。

通俗地讲，你要为每一份数据回答三个问题：从哪来（来源与授权记录）、覆盖谁（代表性是否达标）、脏不脏（错误率与偏差是否超限）。数据治理的最终产出，是一张可审计的“数据血缘图”。

高风险系统的“钢缆”不能掺假：一旦审计发现训练数据里某个群体的样本严重缺失，整改路径不是补文档，而是重新采集、清洗、评估，直到那张数据血缘图经得起监管逐行翻阅。

技术文档

索道竣工前，工地旁会摆开一长桌图纸：设计计算书、施工日志、操作手册、应急预案。验收工程师翻完才能签字。AI Act的“图纸”就是技术文档，规定见附件四（Annex IV），是合规体系里最硬核的文书工作。

技术文档最少要覆盖四块：一是系统描述——名字、版本、用途、开发者，以及系统对谁、在何种条件下会失效；二是开发细节——数据来源与处理方法、模型架构与训练流程、评估指标与测试结果；三是运行信息——软硬件运行环境、已知限制、异常情况下的行为；四是变更记录——每一次修改都要留档，重新评估对合规的影响。

这些文档不是给投资人看的路演材料，而是给“验收工程师”（市场监管机构）准备的证据：他们要能只看文档，就复现你的合规推理。文档要保留至少10年，随叫随到，一个字都不能少。

补文档有个反直觉之处：它逼你把“没有文档的默认实现”全部翻出来补做。很多团队最后发现，写文档的过程其实是把系统规范化的过程——正如施工日志写不全的工地，往往真的偷工减料。

合格评定与CE

图纸齐了，接下来是索道最紧张的“验收日”。有的索道属于景区认定的简易类型，施工单位自己组织专家按标准逐项自检、出具自检报告即可；有的属于大型客运索道，必须请国家级第三方检验机构进场加载测试。验收通过的标志，是那张写着"CE"的认证牌——没有它，轿厢连试运行都不许。

AI Act的合格评定（第43条）也是一条“双轨制”：附件三的独立高风险系统走“内部控制”路径（附件六），由提供商自己对照全部法规要求完成评估，出具欧盟符合性声明（附件五）；而被附件一所列行业立法覆盖的系统（比如医疗器械里的AI、汽车里的智能驾驶组件），则要跟着既有行业法规走评定流程，这条路通常会有第三方公告机构介入。

无论是哪条路，评估通过后要做三件事：签发书面《欧盟符合性声明》并随文档保存10年、在系统上醒目地张贴CE标识、把系统信息登记进欧盟统一数据库（第49条）。自我评估不等于自我放纵——声明一旦签下，所有证据都要经得起监管事后翻账。

许多团队以为“自评=没人管”，于是草草签名。等到市场监管机构下发检查通知、要求限时调出全部评定证据时，才意识到那张CE牌的分量——它和景区的安全认证牌一样，挂着是荣誉，背后是随时可能到来的复查。

透明度与监督

索道轿厢的窗户边永远贴着一张《乘客须知》，写着运行时间、乘坐禁忌、紧急求助方式；操作室里则有一个鲜红的急停按钮。前者叫“知情”，后者叫“接管”——这两样东西，AI Act也强制高风险系统配备。

第13条要求“透明度与信息告知”：提供商要给部署方（使用系统的机构）一份足够详细的说明书，讲清预期用途、能力边界、已知风险，以及对哪些人群可能产生不利影响，而且要写得让非AI专业的普通人看得懂。第14条要求“人类监督”：系统运转时，必须有自然人能理解它的行为、监控它的运行、在必要时干预甚至一键终止。

设计上，人类监督通常落地为三层：运行看板（实时看懂系统在干什么）、置信度预警（系统没有把握时主动提醒）、人工接管通道（决策前必须让人复核，或者随时可以终止自动化流程）。用公式表达就是一条“谁说了算”的切换规则。

很多AI事故的根源不是模型不够准，而是“人来不及打断”：系统自动完成了决策、执行、通知的全链路，人只在一份事后报告上签字。这在合规意义上属于人类监督形同虚设——索道操作员低头看手机，急停按钮再红也拦不住事故。

持续监测与报告

索道开业那天不是终点，而是另一种日常的开始：每天清晨的空载试运行、大风预警的停运指令、钢丝绳每季度的探伤报告。同样，高风险AI系统上市后，故事才刚讲到一半。

第72条要求建立“上市后监测体系”：根据系统的风险性质，成比例地收集和分析运行数据，主动识别风险趋势，而不是等用户投诉了才反应。第73条规定了“严重事件报告”：一旦出现致死、重伤、关键基础设施严重受损或基本权利被严重侵犯的事件，知情后必须立即上报市场监督机构，最迟不超过15天，并配合后续调查。

如果对系统做了重大修改——换了训练数据、改了核心算法、扩大了使用场景——提供商要判断这是否影响合规结论；有影响的，就得重新走合格评定。这和索道换了主缆或者改了站台结构就要重新验收是同一个逻辑。

合规不是一道“拿到CE就通关”的考题，而是一张永远在翻页的巡检表。真正成熟的高风险管理团队，会把监测报告做成每月例会上的固定议题——就像索道站长每天早会的第一句话永远是“今天天气怎么样”。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""高风险AI系统合规检查清单: 串联电路式合规计分与风险认定演示""" ANNEX_III = ["生物识别", "关键基础设施", "教育就业", "民生服务", "执法司法", "交通管理"]  def classify_risk(category, exempt=False):    """第一步: 判断是否属于AI法案附件三高风险场景(简化版)"""    if category in ANNEX_III and not exempt:        return "高风险"    return "非高风险(当前框架下)"  class ComplianceChecklist:    """第二步: 七大类合规义务逐项打分, 任一缺失则整体零分"""     def __init__(self):        self.areas = [            ("风险管理", ["风险识别", "风险缓解", "残余风险记录"]),            ("数据治理", ["代表性检验", "偏差检测", "来源授权记录"]),            ("技术文档", ["系统描述", "训练记录", "变更记录"]),            ("记录日志", ["自动日志", "留存六个月", "访问受控"]),            ("透明度", ["使用说明", "局限告知", "部署方信息"]),            ("人类监督", ["人工终止", "人工复核", "干预能力"]),            ("稳健安全", ["准确性测试", "鲁棒性测试", "网络安全"]),        ]        self.score_map = {}        self.total_count = 0     def run(self, answers):        """根据提交的答案逐项计分, 返回总体通过数"""        self.score_map = {}        self.total_count = 0        passed = 0        for area, items in self.areas:            marks = answers.get(area, [False] * len(items))            ok = sum(1 for m in marks if m)            self.score_map[area] = ok            self.total_count += len(items)            passed += ok        return passed     def overall_pass(self):        """串联电路: 任何一项未满足, 整体合规即为0"""        for area, items in self.areas:            if self.score_map.get(area, 0) < len(items):                return False        return True  def main():    audit = ComplianceChecklist()    sample_answers = {        "风险管理": [True, True, True],        "数据治理": [True, True, True],        "技术文档": [True, True, True],        "记录日志": [True, True, True],        "透明度": [True, True, True],        "人类监督": [True, False, True],  # 人工终止按钮未实现, 这是缺口        "稳健安全": [True, True, True],    }    print("风险认定:", classify_risk("生物识别"))    passed = audit.run(sample_answers)    print("通过条目: %d / %d" % (passed, audit.total_count))    print("整体合规(串联电路):", "通过, 可进入合格评定" if audit.overall_pass() else "不通过, 先补齐缺口")  if __name__ == "__main__":    main()

1. def classify_risk(category, exempt=False):先走第一步“对号入座”，用附件三清单判断系统是否高风险。
2. if category in ANNEX_III and not exempt:命中清单且不适用例外，才判定为高风险。
3. self.areas = [("风险管理", ["风险识别", "风险缓解", "残余风险记录"]), ...]每条义务都拆成可勾选的检查点，对应正文的七大类要求。
4. marks = answers.get(area, [False] * len(items))取该领域的勾选结果，没提交的默认视为未通过。
5. ok = sum(1 for m in marks if m)统计该领域通过了几项检查点。
6. passed += ok累加总通过数，用于输出“通过条目 x / y”。
7. def overall_pass(self):实现“串联电路”：任何一项缺失，整体就是0。
8. if self.score_map.get(area, 0) < len(items):只要有一个领域有缺口就返回 False。
9. print("风险认定:", classify_risk("生物识别"))演示第一步认定的输出，生物识别直接命中附件三。

常见误区

面试题