EU AI Act合规义务：给“AI餐厅”办一张欧盟营业执照

可视化演示

展示高风险AI系统的合规义务流程、风险等级罚款机制及人工监督架构，切换模式了解各义务要点。

第 1 关 风险分级：先弄清你的店是哪种档次

老周第一次见到欧盟的AI监管官艾达时，对方没问他的卤味配方，只递来一张表：“先告诉我，你的AI系统打算用在哪儿？”老周愣住了——开餐厅不是办好营业执照就行吗，怎么还分档次？艾达解释：欧盟把所有AI系统按风险分成四档，就像餐饮业把路边摊、小饭馆、中央厨房和核设施食堂分开管理——档次决定你要过几道审查关。

这就引出了EU AI Act的核心分级逻辑。不可接受风险（如社会信用评分、恶意操纵）直接禁止；高风险系统（如招聘筛选、医疗分诊、关键基础设施管理）要履行全套义务；有限风险只要做基本透明度披露；最小风险则无需额外义务。判断依据主要是“用途场景”而非技术本身——同一个目标检测模型，用在工厂质检是低风险，用在执法人脸识别就变成高风险。

分级的关键落在附件三的高风险场景清单上，涵盖生物识别、教育、就业、公共服务、执法、移民、司法等领域。合规团队第一步要做“用途判定”，把产品实际功能与清单逐条比对，形成书面结论存档。这一步做错，后面所有努力都可能白费。

$$高_{风险} = (用途 \in 附件三) \times (非禁止) \times (非豁免)$$

1. 用途判定：列出你的系统在实际场景中的所有用途，逐条对照附件三清单。

$$用途 \in 附件三$$

2. 排除禁止：先确认系统没有触碰不可接受风险的红线，比如社会评分。

$$非禁止$$

3. 豁免检查：一些低干扰场景（如生物识别用于个人相册管理）可豁免。

$$非豁免$$

老周恍然大悟：“原来是先看菜系再定标准，卖凉菜和做卤味大锅饭的检查力度当然不一样。”分完级，艾达带着老周走进了第二关——风险管理。

第 2 关 风险管理：给后厨做一次HACCP体检

老周的店最怕什么？食材不新鲜导致顾客食物中毒。艾达告诉她，欧盟要求高风险AI系统建立风险管理体系，本质上就是餐饮业的HACCP（危害分析与关键控制点）——别等出事了再补救，而是把可能出错的地方提前找出来。

EU AI Act第9条要求建立、实施、记录并维护风险管理体系，贯穿系统整个生命周期。首先做风险识别：系统可能在什么场景下产生错误？错误会造成什么伤害？严重程度如何；其次做风险分析：每条风险的发生概率和影响相乘，得出风险值；最后做风险控制：通过算法改进、数据清洗、防护机制把风险压到可接受范围，剩余风险要明示并交给人工监督兜底。

这套流程不是写一份文档交差，而是“活”的风险台账——每次模型更新、场景扩展，都要重新跑一轮识别与控制。监管机构检查时，最看重的是你有没有“闭环证据”：风险条目、处置记录、效果评估，缺一不可。

$$R_{total} = \sum_{i=1}^{n} \left( L_i \times S_i \right) - Control$$

1. 风险条目枚举：把系统可能出错的情形全部列出来，记作第 i 条风险。

$$i = 1, 2, \ldots, n$$

2. 发生可能性：评估每条风险出现的概率，用 $L_i$ 表示。

$$L_i = P(出错_i)$$

3. 影响严重度：评估出错后果的严重程度，用 $S_i$ 表示。

$$S_i = 伤害程度_i$$

4. 控制削减：算法改进、防护机制等措施可削减风险，从总和中减去。

$$Control = \sum 控制措施效力$$

老周在风险台账上画了几个圈：AI挑食材可能漏掉细微变质、预测销量可能偏差导致囤货浪费……每一条都标了应对方案。“原来管AI就像管后厨，先把危险源摸清，再一道道设卡防护。”经验谈完，艾达指向下一关：食材本身。

第 3 关 数据治理：每一根食材都要查清来历

卤味的灵魂在于食材，AI的灵魂在于数据。艾达问老周：“你训练AI识别食材新鲜度的数据是从哪来的？”老周说网上扒的。艾达摇头：如果数据本身来源不明、标注错误、含有偏见，AI就会“学坏”——这正是EU AI Act第10条数据治理义务要解决的。

数据治理要求高风险AI系统的训练、验证、测试数据集满足质量管理标准。一是来源合规：数据要合法获取，涉及个人数据还要符合GDPR（通用数据保护条例）；二是代表性：数据要覆盖目标人群、场景、边缘情况，避免对性别、种族、年龄等产生系统性偏差；三是偏差检测与清洗：要能识别并修正数据中的偏见和错误。对生物识别等特殊场景，还可能要求用真实数据训练并保护隐私。

实践中，数据治理落地为一张“数据台账”：每个数据集记录采集来源、授权情况、标注规范、质量检查结果。模型上线前，数据偏差报告要与模型卡一并提交审核。

$$D_{质量} = Cover \times (1 - Bias) \times Split$$

1. 覆盖度指标：数据集对目标人群和场景的覆盖比例，记为 $Cover$。

$$Cover = \frac{已覆盖场景}{应覆盖场景}$$

2. 偏差程度：数据中系统性偏见的比例，用 $Bias$ 表示。

$$Bias = P(有偏样本)$$

3. 划分合理性：训练、验证、测试集的划分是否合理，用 $Split$ 表示。

$$Split = \frac{测试集质量}{全量质量}$$

老周把数据台账比作食材进货单：哪天、哪家菜农、哪批货、谁验的货全都记录在案。“数据要是掺了沙子，AI就是吃坏肚子的顾客。”台账理顺后，艾达管他要一份详细的“菜谱说明”——这就是下一关。

第 4 关 技术文档：把秘制菜谱写成标准规格书

老周最得意的就是那锅老卤汤，配方从不示人。艾达却说：欧盟不关心你的配方秘密，但要求你把“系统是怎么回事”写清楚，提交给监管部门审查，这就是第11条技术文档义务。

技术文档相当于AI系统的“设计规格书+使用说明书”，需在投入市场前准备完毕，并在监管机构要求时提供给审核。内容包含：系统的通用描述、预期用途、训练数据集描述（来源、规模、处理方法）、算法架构与关键参数、评估结果、风险管控措施、运行环境要求等。文档要“足够详细”，让监管者能判断系统是否合规，也让部署者知道怎么正确使用。

文档不是写一次就完事——模型迭代、数据更新、场景扩展后必须同步修订。实践中，团队常把技术文档做成“模型卡+数据集卡”双卡制度，用模板固定章节，用版本号管理更新。这是防范“黑盒未知”的重要屏障。

$$C_{文档} = \frac{n_{已完成}}{n_{必填}}$$

1. 必填字段统计：梳理法规要求的全部技术文档字段，记作 $n_{必填}$。

$$n_{必填} = 总字段数$$

2. 完成字段统计：统计实际已完成并验证的字段数量。

$$n_{已完成} = 已提交字段数$$

3. 完备率计算：两数相除得出文档完备率，目标是100%。

$$C_{文档} = \frac{n_{已完成}}{n_{必填}}$$

“原来秘方可以保密，但得把营养成分、保质期写得明明白白。”老周把技术文档理解成配料表，监管部门不抢你的配方，但要确认这东西吃了不出事。文档关过了，艾达又带他去看店里的“监控录像”。

第 5 关 记录保存：留好日志才能自证清白

如果顾客吃卤味半夜进了医院，监管部门第一件事是什么？调后厨监控、查进货单、翻操作记录。AI系统也一样——一旦出事，你得能拿出“日志”证明自己没违规，这就是第12条记录保存义务。

高风险系统必须自动记录运行事件日志，至少覆盖：系统激活时间与运行区间、输入数据的来源与特征、产生的决策结果、人工审查与干预记录、异常与故障信息。日志要支持事后追溯：为什么做出这个决定？当时系统状态如何？人工有没有及时介入？这些信息要在系统投入市场前就设计好采集方案。

保存期限没有统一硬数字，但必须“适当”——至少覆盖产品生命周期，且能与风险等级匹配。面向监管，日志需保证完整性、防篡改和可访问性，通常还要做定期审计抽样。实践中，日志设计要提前确定留什么、存多久、谁能读、怎么导出。

$$Log_{完整} = \frac{N_{实际记录}}{N_{应记录}} \times (1 - T_{篡改率})$$

1. 事件清单定义：先定义哪些事件必须记录，如决策、干预、异常。

$$N_{应记录} = 事件定义表$$

2. 实际记录对比：核对日志中实际落盘的事件数量。

$$N_{实际记录} = 已记录数$$

3. 防篡改校验：用哈希链或访问控制保证日志不可被轻易修改。

$$T_{篡改率} = \frac{被篡改日志}{总日志}$$

老周翻着日志系统直点头：“这不就是店里的监控嘛，机器自己记，时刻留证据。”他在日志系统里加了“AI决策+人工复核”的双轨字段，保证每单卤味都有据可查。下一关，艾达要求他把“这是AI做的”写在大招牌上。

第 6 关 透明度：别让顾客以为厨师是真人

老周雇了个机器人服务员上菜，他觉得没必要告诉顾客。艾达却说：必须告诉——而且要说得清、听得懂，这就是欧盟的透明度义务。顾客有权知道自己是在跟机器打交道，有权了解系统的能力和局限。

透明度义务分两层。对终端用户：系统应告知“你在与AI交互”，让用户知情；对部署者（使用系统的机构）：提供清晰完整的使用说明，写明预期用途、适用人群、需要人工复核的情形、已知局限与风险。比如AI做招聘筛选，按第13条要求，部署者要收到操作手册：系统怎么训练、准确率多少、哪些情况可能出错、人工如何补救。

现实中，很多AI产品的“透明度”只是一行小字，这远远不够。合规做法是设计多级披露：界面上的实时提示、协议中的条款说明、部署方的手册文档，三者配套。透明不是给自己找麻烦，而是建立用户信任、降低责任风险。

$$I_{透明} = \frac{D_{已披露}}{D_{应披露}} \times U_{可理解}$$

1. 应披露清单：梳理法规要求披露的信息，如AI身份、能力边界。

$$D_{应披露} = 法规清单$$

2. 已披露核对：核对当前产品实际披露的信息项。

$$D_{已披露} = 实际披露$$

3. 可理解度评估：用用户测试评估披露内容是否易懂。

$$U_{可理解} = \frac{理解人数}{测试人数}$$

“原来透明不是坦白从宽，是消费者的知情权。”老周在菜单上加了行字：本店AI系统自动推荐菜品，仅供参考。他明白，真诚是最好的免责声明。接下来，艾达说店里还缺一个“店长”。

第 7 关 人工监督：店里必须有个能拍板的店长

再智能的后厨，也得有个有权力拍板的店长。EU AI Act第14条要求高风险系统在整个人工监督生命周期内保持“有效的人类监督”——机器不能自己一条路走到黑，关键时刻人得能喊停、能纠正。

人工监督的核心是“人机权界”：系统能自动做哪些事、哪些事必须人确认、人在什么条件下可以否决机器决策。技术实现上，系统要能向人类监督者展示足够信息（置信度、依据、异常告警），让监督者做出判断；同时要提供“接管机制”——例如一键停止、手动覆盖、阈值告警后挂起等待人工处理。生物识别场景还要求人工二次确认高危判定。

监督不是摆设，监督者要有能力、有权限、有培训。合规实践上，团队要定义监督角色，明确其职责、权限、技能要求，并保留干预记录作为合规证据。

$$S_{人控} = Cap_{理解} \times Power_{干预} \times T_{反应}$$

1. 理解能力：监督者能否看懂系统输出的关键信息，记为 $Cap_{理解}$。

$$Cap_{理解} = 解读准确率$$

2. 干预权限：监督者是否拥有否决或覆盖系统决策的权限，记为 $Power_{干预}$。

$$Power_{干预} = 可干预场景数$$

3. 反应速度：监督者发现异常到完成干预的耗时，记为 $T_{反应}$。

$$T_{反应} = 干预耗时$$

老周恍然大悟：“店长不只是站着看，得能关火、能换菜、能退货。”他给系统配了“人机双确认”机制：高风险决策必须店长级人员复核。最后一道关，是检验菜品的硬指标。

第 8 关 准确鲁棒：出品的每道菜都要经得起检验

卤味好不好吃，得靠标准说话——咸淡范围、色泽标准、微生物指标。AI系统也一样，第15条要求高风险系统达到适当的准确性、鲁棒性和网络安全水平，不能“平时好用、一攻击就崩”。

准确性要求团队设定并验证性能指标，如准确率、精确率、召回率，并证明其达到可接受水平；鲁棒性要求系统在输入变化、噪声干扰、对抗攻击下依然稳定，例如给招聘系统喂入格式变化或恶意构造的简历，它不应被轻易“骗过”；网络安全则要求防止第三方利用漏洞操纵系统的输出——攻击者篡改模型决策，可能让信用评分、医疗分诊被恶意影响。

这三者要形成“测试证据链”：定义指标→设计测试集→执行对抗测试→记录结果→持续监测漂移。监管检查时会索要这些测试报告，并核对测试方法是否科学。

$$Acc = \frac{TP + TN}{TP + TN + FP + FN}$$

1. 真阳性：正样本被正确预测为正例，记为 $TP$。

$$TP = 正确命中数$$

2. 真阴性：负样本被正确预测为负例，记为 $TN$。

$$TN = 正确排除数$$

3. 错误分类：FP是负样本被误判为正例，FN是正样本被漏判。

$$FP + FN = 误报数 + 漏报数$$

4. 综合计算：正确数除以总数即得准确率。

$$Acc = \frac{TP + TN}{TP + TN + FP + FN}$$

八关全部通过，艾达给了老周的“AI餐厅”盖上合格章。“记住，拿到章只是开始——后续每次系统更新都要重新检验，违规了随时可能吊销执照。”老周看着那枚章，明白了合规不是一次通关，而是一种持续的经营习惯。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""EU AI Act 高风险判定与义务清单生成器"""import json class RiskAssessor:    """高风险AI系统合规判定器"""     def __init__(self):        # 附件三高风险场景关键词（节选）        self.high_risk_map = {            "biometric": "生物识别与情绪识别",            "critical_infra": "关键基础设施管理",            "education": "教育招生与评估",            "employment": "招聘与用工管理",            "public_service": "公共福利与服务",            "law_enforce": "执法与司法",            "migration": "移民与边境管理",        }        # 不可接受风险（禁止）关键词        self.prohibited_list = [            "social_score", "mass_surveillance", "subliminal_manipulation"        ]        # 豁免情形（低干扰）        self.exempt_list = [            "personal_album", "spam_filter", "translation_basic"        ]     def decide(self, use_case, purpose):        """return: (level, obligations)"""        if use_case in self.prohibited_list:            return "prohibited", ["必须停止开发：不可接受风险"]        if use_case in self.exempt_list:            return "exempt", ["仅需基本透明度义务"]        for key, name in self.high_risk_map.items():            if key in purpose:                return "high_risk", self._get_obligations()        return "limited", ["履行透明度义务：告知用户AI身份"]     def _get_obligations(self):        return [            "Art.9 建立风险管理体系",            "Art.10 数据治理与质量",            "Art.11 编写技术文档",            "Art.12 运行日志留痕",            "Art.13 透明度与说明书",            "Art.14 人工监督机制",            "Art.15 准确性与鲁棒性",        ]  def main():    rater = RiskAssessor()    report = []    test_cases = [        ("recruitment_ai", "employment hiring screening"),        ("face_pay", "biometric payment terminal"),        ("social_credit", "social_score citizen rating"),    ]    for name, purpose in test_cases:        level, duties = rater.decide(name, purpose)        item = {"system": name, "level": level, "obligations": duties}        report.append(item)        print(json.dumps(item, ensure_ascii=False, indent=2))    with open("risk_report.json", "w", encoding="utf-8") as f:        json.dump(report, f, ensure_ascii=False, indent=2)  if __name__ == "__main__":    main()

1. self.high_risk_map = {...}用字典存储附件三的高风险场景关键词，就像餐厅的“高风险食材清单”。
2. def decide(self, use_case, purpose)核心判定方法：先查禁止名单，再查豁免，再查高风险清单，顺序不能乱。
3. if use_case in self.prohibited_list:触碰不可接受风险直接判“禁止”，就像发现地沟油直接停业。
4. ("recruitment_ai", "employment hiring screening")测试用例把系统名和用途分开输入，模拟一个AI同时有多个用途的场景。
5. json.dump(report, f, ensure_ascii=False, indent=2)把判定结果导出为JSON报告，这就是给监管看的初步证据。

常见误区

面试题