数字世界的“美食街”上,AI 创意菜馆正一家家开张。有人把明星的脸“炒”进路人的视频里,有人端出克隆亲友声线的“甜点”却不说明食材来路。食客们越吃越不安,监管部门终于出手,给这条街制定了一份《互联网信息服务深度合成管理规定》——它就像是网络版“餐饮食品安全管理条例”。这份规定给每个 AI 大厨立下六条铁规矩:先办证再开业(服务备案)、食材必须能溯源(数据合规)、每道菜都要贴标签(内容标识)、做“河豚”类特殊料理要有资质(人脸编辑限制)、定期接受卫生检查(安全评估),违规了轻则警告重则关门(法律责任)。本文用一个新手 AI 大厨小林在市场监管员老周指导下“开餐厅”的故事,带你逐条读懂这份规定。读完,你就能给自己的深度合成业务做一次全面“体检”。
深度合成规定是 AI 内容服务的“营业许可证考纲”。掌握它,你才能在 AI 换脸、语音克隆、文本生成等业务上避开“无证经营”的法律雷区,把技术安全地变成产品。
可视化演示
展示深度合成服务从备案到内容标识的完整合规路径,对比不同AI生成场景的风险等级与标识要求,帮助团队快速定位合规义务。
本节配有交互动效(进入视口后自动加载,约 3KB)。
深度合成合规流程 服务提供者须完成备案、安全评估后方可上线深度合成功能 AI生成内容须添加显著标识,确保公众可辨识 备案 → 评估 → 标识 → 监管 六步合规路径缺一不可
立法背景与风险
十几年前,“地沟油”事件让整个餐饮行业陷入信任危机。如今数字世界正经历同样的阵痛:AI 换脸视频、语音克隆、一键生成的假新闻,像“数字地沟油”一样在社交平台蔓延。不同的是,这口大锅里炒的,是数以亿计网民的眼睛和耳朵。
这些乱象背后叫“深度合成”(Deep Synthesis)——利用深度学习技术生成、编辑图像、音频、视频、文本等信息。它让我们能创作出以假乱真的内容,也让电信诈骗、虚假新闻、肖像侵权有了新的作案工具。为了给这项技术戴上“笼头”,《互联网信息服务深度合成管理规定》应运而生,成为我国首部专门规范深度合成服务的部门规章,凡是境内用深度合成技术提供互联网信息的活动,都在它的“灶台”范围之内。
监管者评估一项合成内容的风险,本质是在算一笔“安全账”:
市场监管员老周常跟小林说:“判断一道菜危不危险,不只看它辣不辣,而看它容不容易吃出问题、问题有多大。”深度合成规定,就是那张写着安全线的“风险温度计”——换脸诈骗概率高、影响大,所以被标红重点监管;而风格化滤镜风险低,监管尺度就宽一些。
- 定义概率\(P\) 表示该深度合成内容引发安全事件的概率,取值介于 0 到 1 之间,越容易被滥用,P 越高。
- 定义影响\(I\) 表示事件一旦发生对社会或个人的危害程度,等级越高后果越严重,取值范围取 1 到 10。
- 计算乘积二者相乘得到综合风险值,监管的核心目标就是把 R 压到可接受的安全线以下。
备案管理
老周告诉小林,开 AI 餐馆的第一步不是急着炒菜,而是“办证”。营业执照和食品经营许可证没办下来就开业,菜做得再香也是“无证经营”。深度合成规定把“备案”放在了所有合规义务的最前面,逻辑完全一致。
哪些主体要办“证”?规定明确,具有舆论属性或者社会动员能力的深度合成服务提供者和技术支持者,应当向所在地省级网信部门办理备案。所谓“舆论属性或社会动员能力”,通俗说就是你的服务可能会被大量公众看到、传播、动员——例如面向公众的 AI 换脸 App、语音合成开放平台、内容生成网站。备案材料通常包括主体信息、服务形式、产品功能、算法机理和安全措施等。通过备案后,备案信息会公示,供公众查询。
备案有明确的“办证时限”,从开业那天就开始倒计时:
除了首次备案,服务形式、算法、负责人等关键信息发生变更,要及时更新备案;停止服务则要办理注销。备案就像挂在餐厅墙上的营业执照,顾客和监管部门一眼就能看出这家店的底细。没有它,技术团队连上线发布会都不敢开。
- 定义变量\(T\) 表示从提供服务到完成备案提交所经历的工作日数,它是合规的关键计时器。
- 上限约束规定要求该时间差不超过 30 个工作日,超时即构成违法。
- 合规含义新服务上线前,团队就要把备案材料准备成“半成品”,确保开业即进入计时、尽快交卷。
训练数据合规
小林的菜馆主打“AI 精制菜肴”,可老周检查后厨时发现了大问题:有的食材是半夜从隔壁农场“顺”来的(非法爬取),有的菜带着别人家菜园的名牌(盗版素材),还有的食材上贴着别人家的门牌号和电话(未授权的个人信息)。老周当场拉闸:食材来路不明,菜做得再香没人敢吃。
训练数据就是深度合成模型的“食材”。规定要求,数据来源必须合法,不得利用非法渠道收集的数据训练模型;涉及个人信息时,要履行告知、同意、匿名化等处理义务;同时不得侵犯他人的著作权、肖像权等合法权益。更重要的是,模型训练方要对训练数据的安全负责——防止数据泄露和被“投毒”。
即便每份数据都做了脱敏,风险依然存在——多个字段叠加可能让个体重新被“认出来”。这种“重识别”风险可以用一个公式理解:
老周要求小林给后厨建立“食材台账”:每条训练数据的来源、授权范围、用途都记录在案。数据合规不是采购时的一次性验收,而是贯穿采集、清洗、训练、部署全流程的“冷链管理”——断了任何一环,整条链都不合格。
- 定义单属性风险\(p_i\) 表示第 \(i\) 个属性(如声纹、面部特征、位置)单独被逆推出身份的概率。
- 计算全不泄露概率\(1 - p_i\) 是单个属性不泄露的概率,连乘表示所有属性同时保持匿名的概率。
- 得到重识别概率用 1 减去“全不泄露”的概率,得到至少一个属性被攻破、身份被还原的整体风险。
内容标识要求
老周又给小林上了一课:餐厅里的每道菜都有“说明义务”——含花生的菜要在菜单上醒目标注“本菜含花生”,打包盒上还要贴溯源二维码,扫码能查到生产者和原料批次。前者是给食客看的,后者是给监管和供应链查的。
深度合成的内容标识制度正是如此,分“显式”和“隐式”两道签。显式标识:在合理位置添加“AI生成”“由AI合成”等提示文字或角标,让用户一眼可辨。隐式标识:通过元数据、特征嵌入、LSB 水印等技术把标记藏进内容里,用户感知不到,但平台和监管工具可以机器读取。规定还明确:任何组织和个人不得采用技术手段删除、篡改、隐匿这些标识。对于人脸生成、人脸替换等“显著改变”类服务,要求更严——必须在显著位置添加显著标识。
隐式标识是否有效,关键看平台“查得出”多少。这个能力用召回率表示:
小林的菜馆从此立下规矩:每道 AI 菜上桌前必须“贴签 + 扫码”双管齐下,缺一不可。因为用户有权知道自己吃的是“大厨现炒”还是“料理包”——AI 生成的,就该亮明身份。
- 定义真阳性\(TP\) 表示确实含有隐式标识、且被检测系统正确找出来的内容数量。
- 定义漏检\(FN\) 表示实际上含有隐式标识、但被系统漏掉的内容数量。
- 计算检出率TP 除以 TP 与 FN 之和,比例越接近 1,说明平台的标识检测能力越强,监管效果越好。
人脸编辑限制与安全评估
在餐饮界,河豚一直是“高危食材”——味道鲜美但处理不当会致命,因此法规要求厨师持专门资质、按标准流程操作。人脸生成与编辑,就是深度合成里的“河豚”:应用价值高、被滥用后果重,规定对它单独立了规矩。
具体限制包括:不得利用人脸生成、替换、编辑技术制作发布虚假新闻信息;不得将他人人脸用于诈骗、色情等违法活动;未经授权不得替换公众人物人脸——因为涉及肖像权和舆论误导。提供“显著改变”人脸服务的,还必须在视频、图像的显著位置添加标识。与此同时,具有舆论属性或社会动员能力的服务提供者,在上线前和重大功能变更前,应当进行安全评估,评估内容包括内容安全、算法安全、数据安全以及风险防控措施是否到位。
那么,“显著改变”如何判定?技术上常借助人脸特征向量的相似度来衡量改动程度:
老周总结得妙:“你可以做河豚宴,但必须挂资质牌、上提示菜签、接受突击检查。”人脸编辑服务的合规三件套——显著标识、禁用清单、安全评估,少一样都是拿食客的生命安全开玩笑。
- 定义特征向量\(\mathbf{a}\) 和 \(\mathbf{b}\) 分别表示原始人脸与合成人脸的向量特征,维度通常由人脸识别模型输出。
- 计算内积与模长分子是两个向量的点积,衡量同向程度;分母是两个向量模长的乘积,起归一化作用。
- 设置判定阈值当 S 低于预设阈值(如 0.8,具体因业务和模型而异),判定为“显著改变”,触发显著标识与安全评估义务。
法律责任与合规建议
总有不听劝的老板。老周见过太多:无证经营被查封,食材出问题被重罚,标签造假被吊销执照。网络世界同理,违规的深度合成服务轻则被约谈警告,重则服务被暂停甚至永久关停,还伴随着真金白银的罚款和刑事责任。
行政处罚方面,由网信、工信、公安等部门依据职责给予警告、通报批评、责令限期改正;拒不改正或情节严重的,面临罚款,并可能被责令暂停或终止相关服务。民事和刑事层面,利用深度合成侵犯他人肖像权、名誉权、著作权的,要承担侵权责任;利用深度合成实施诈骗、诽谤等犯罪的,依法追究刑事责任。近年来,“AI 换脸明星被判侵权”“语音克隆冒充老板转账”等案例屡见不鲜,违法成本正越来越高。处罚力度的轻重,取决于违法情形:
老周临走前送给小林一张“合规自查表”,让后厨贴在墙上:证照办了没?食材台账齐不齐?标签贴了没?河豚资质有没有?卫生检查过没过?五个问号全部拉直,才能在这条 AI 美食街上长久经营。合规不是一次性考试,而是贯穿服务全生命周期的日常功课。
- 定义罚款区间对一般违法且拒不改正的情形,处以一万元以上十万元以下罚款,金额在区间内根据危害程度裁量。
- 定义严重情节违法行为造成重大社会影响或屡教不改的,监管可责令暂停或终止服务,相当于“吊销执照”。
- 叠加其他法律如果行为同时违反《网络安全法》《数据安全法》《个人信息保护法》等,按更严规定处理,处罚还可能上不封顶。
AI 应用场景
深度合成服务备案评估
阶段:产品上线前的法务与合规准备阶段
解决的问题:很多团队埋头开发完 AI 换脸 API 或语音合成 SDK,临上线才发现自己属于“具有舆论属性的深度合成服务提供者”,面临无证经营风险。AI 无法替代法务判断,但可以把备案要求前置到研发流程中——在项目管理清单里增加“备案检查点”,由合规工程师确认服务形态、用户规模、传播属性,判断是否需要备案,并在规定时限内提交材料。
具体案例:某初创公司计划上线“AI 虚拟主播”工具,面向自媒体用户生成口播视频。合规团队在功能设计阶段介入,确认该服务具有舆论属性,随即准备备案材料并同步完成内容标识方案,最终在服务上线后 30 个工作日内完成备案,避免了“先上线、后补证”的被动局面。
平台级 AI 内容标识系统实施
阶段:内容审核与平台治理阶段
解决的问题:视频平台每天收到大量疑似 AI 生成的投稿,靠人工肉眼判断既不准确也不可持续。传统做法依赖用户主动声明,漏报率高;AI 合规方案是构建“显式 + 隐式”双层标识体系:创作者端强制叠加“AI 生成”角标,平台端自动检测内容中的隐式水印,形成机器可读的合规证据链。
具体案例:某 UGC 视频平台在投稿流程中接入水印检测服务,对每条视频抽取 LSB 特征,识别出 12% 未被用户声明的 AI 合成内容,并自动在播放页叠加“疑似 AI 合成”提示,既满足了规定的内容标识要求,也降低了虚假信息传播风险。
人脸合成服务的安全评估
阶段:模型上线评审与风控阶段
解决的问题:人脸编辑类服务属于“高危河豚”,必须在功能上线前完成安全评估。传统评估靠人工自查,标准模糊;AI 合规实践是把“安全评估”做成可量化的自动化检查:验证相似度阈值是否触发“显著改变”标识、是否内置了公众人物黑名单、是否具备虚假新闻内容拦截能力,并生成评估报告存档备查。
具体案例:某在线教育公司想上线“AI 虚拟老师”功能,可自动将教师形象转换为多种风格的虚拟形象。风控团队在上线前对换脸模块进行安全评估,加入显著标识、敏感人物拦截和恶意 prompt 过滤,并通过了属地网信部门的安全评估要求,功能才顺利开放。
Python 演示
# 模拟深度合成内容的标识合规检查# 用 16x16 整数矩阵模拟灰度图像, 演示显式标识与隐式水印的嵌入和检测 class Image: """灰度图像模拟器""" def __init__(self, size=16): self.size = size self.pixels = [[128 for _ in range(size)] for _ in range(size)] def get(self, x, y): return self.pixels[y][x] def set(self, x, y, value): self.pixels[y][x] = max(0, min(255, value)) def copy(self): img = Image(self.size) img.pixels = [row[:] for row in self.pixels] return img def add_explicit_label(img): """在左上角添加显式标识(高亮角标)""" out = img.copy() for y in range(3): for x in range(3): out.set(x, y, 255) return out def add_implicit_watermark(img, key=(1, 0, 1, 1, 0)): """在右下角像素的最低有效位(LSB)嵌入隐式水印""" out = img.copy() n = len(key) for i, bit in enumerate(key): x = out.size - n + i y = out.size - 1 val = out.get(x, y) out.set(x, y, (val & ~1) | bit) return out def detect_watermark(img, key=(1, 0, 1, 1, 0)): """读取右下角 LSB, 判断隐式水印是否存在""" n = len(key) bits = [] for i in range(n): x = img.size - n + i y = img.size - 1 bits.append(img.get(x, y) & 1) return bits == list(key), bits def compliance_report(original, labeled): """输出合规检查报告""" ok_watermark, bits = detect_watermark(labeled) explicit_ok = labeled.get(0, 0) == 255 altered = any( original.get(x, y) != labeled.get(x, y) for y in range(original.size) for x in range(original.size) ) print("==== 深度合成内容合规报告 ====") print("显式标识: " + ("通过" if explicit_ok else "缺失")) print("隐式水印: " + ("通过" if ok_watermark else "缺失") + " (LSB=" + str(bits) + ")") print("内容已变更: " + ("是(AI合成)" if altered else "否")) passed = explicit_ok and ok_watermark print("结论: " + ("合规, 可发布" if passed else "不合规, 禁止上线")) def main(): original = Image() generated = add_explicit_label(original) generated = add_implicit_watermark(generated) compliance_report(original, generated) if __name__ == "__main__": main()
self.pixels = [[128 for _ in range(size)] for _ in range(size)]初始化一张 16×16 的灰色图像,128 代表中等灰度。out.set(x, y, (val & ~1) | bit)把像素最低有效位改为水印比特位,实现“人眼无感、机器可读”的隐式标识。bits.append(img.get(x, y) & 1)用位运算提取 LSB,还原水印序列,检测是否存在隐式标识。altered = any(original.get(x, y) != labeled.get(x, y) ...)对比原图与生成图,确认内容确实发生了“合成变更”。passed = explicit_ok and ok_watermark显式标识与隐式水印同时满足,才判定为合规,呼应“双标识”制度。
常见误区
误区“我的团队只提供语音合成 API 和模型技术支持,不直接面向用户做内容服务,深度合成规定应该管不到我。”
正解这是对适用范围的误读。规定明确将“深度合成服务提供者”与“技术支持者”都纳入了管理范围。就像卖河豚给餐厅的供应商也要有资质一样,提供模型、接口、工具的技术方同样需要履行备案、配合标识、数据合规等义务。只要你的技术被用于境内互联网信息服务,就在监管灶台上。
为何常见:人们习惯把责任归给“直接面向用户的人”,忽略了供应链条上的连带责任,而法规恰恰采用“提供者 + 支持者”双轨监管。
误区“我在视频角落写了'AI 生成'四个字,标识义务就算完成了,平台也拿我没办法。”
正解显式标识只是内容标识制度的半壁江山。规定要求的是“显式 + 隐式”并用:显式角标是给用户看的,隐式水印是给机器和监管查的,两者缺一不可。而且任何人不得删除、篡改、隐匿标识,只加个角标、删掉元数据的做法,本身就是违规行为。
为何常见:显式标识直观可见,容易让人误以为“看得见的才是合规”,忽略了技术层面机器可读的隐式标识才是长效监管的基石。
误区“我的训练数据都是从公开网站抓取的,既然能被搜到,就说明可以随便下载拿去训练模型。”
正解“公开可见”不等于“可自由商用”。公开数据依然可能包含个人信息、受著作权保护的素材,或受平台用户协议限制。规定要求训练数据来源合法,涉及个人信息要依法处理。正确的做法是做来源评估和权利清理,建立数据台账,而不是默认“能爬就能用”。
为何常见:互联网的“免费”氛围让人们习惯了拿来主义,忽视了公开数据背后依然存在的隐私权和知识产权约束。
误区“我已经在网信部门完成备案了,后面随便上线新功能、换算法都没问题。”
正解备案不是“一次性毕业证”。服务形式、产品功能、算法机理、负责人等关键信息发生变更,需要更新备案;停止服务要注销备案。更重要的是,具有舆论属性或社会动员能力的服务在上线前、重大功能变更前还要进行安全评估。备案只是入场券,持续的合规管理才是主赛道。
为何常见:人们习惯把合规理解为“拿证”那一刻的动作,忽略了监管对全生命周期的动态要求,类似“拿到驾照就忘交规”的心理。
面试题
Q1. 我国《互联网信息服务深度合成管理规定》的施行时间是?
- A.2022年1月10日
- B.2023年1月10日← 正确答案
- C.2023年6月1日
- D.2024年1月10日
答案:B。该规定由国家网信办等三部门联合发布,自 2023 年 1 月 10 日起施行。这就像“AI 餐饮安全条例”从这天起开始查后厨,之前的“地沟油式”合成内容运营方式必须在那之前整改。
Q2. 下列哪项属于深度合成技术?
- A.人脸替换与语音克隆← 正确答案
- B.传统视频画面剪辑
- C.图片格式压缩转换
- D.数据库查询优化
答案:A。深度合成指利用深度学习技术生成、编辑图像、音频、视频、文本等信息,人脸替换、语音克隆都是典型应用。传统剪辑、格式转换和数据库优化不涉及内容“合成”,不在规定定义的灶台范围内。
Q3. 办理深度合成服务备案的时限是?
- A.提供服务30个工作日内← 正确答案
- B.产品上线前一周内
- C.接到投诉后三日内
- D.参与年检时同步办
答案:A。规定要求具有舆论属性或社会动员能力的提供者、技术支持者,自提供服务之日起 30 个工作日内办理备案。这就像餐厅开业后必须在规定期限内把营业执照挂上墙,拖到被投诉才办就是“无证经营”。
Q4. 关于深度合成内容标识,正确的说法是?
- A.只需添加显式角标即可
- B.只需添加隐式元数据即可
- C.显式与隐式标识配合使用← 正确答案
- D.仅对商用内容要求标识
答案:C。规定建立的是“显式 + 隐式”双标识体系:显式标识提醒用户,隐式标识供机器检测。只做一半就像菜品只贴了“含花生”标签却撕掉溯源二维码,供应链监管依然断链。
Q5. 哪些主体需要办理深度合成备案?
- A.具有舆论属性的服务提供者← 正确答案
- B.具有社会动员能力的提供者← 正确答案
- C.个人自用脚本的开发者
- D.仅内部训练使用的算法团队
答案:AB。备案对象是“具有舆论属性或者社会动员能力”的深度合成服务提供者和技术支持者。个人自用、纯内部使用不对外提供互联网信息服务,不触发备案义务;但一旦对外公开服务且具备传播属性,就要办证。
Q6. 隐式标识的主要特点是?
- A.用户可见的大字水印
- B.机器可读且不易篡改的标记← 正确答案
- C.必须展示在视频正中央
- D.只在标题栏显示的文字
答案:B。隐式标识通过元数据、LSB 水印、特征嵌入等技术实现,用户通常感知不到,但机器可以读取和验证。它像盘子底部的溯源二维码——食客看不见,监管一扫便知来路。显式大字、标题栏文字都属于显式标识。
Q7. 人脸编辑类服务负有哪些特殊义务?
- A.显著位置添加显著标识← 正确答案
- B.不得制作虚假新闻信息← 正确答案
- C.可自由使用明星肖像
- D.上线前开展安全评估← 正确答案
答案:ABD。人脸生成、替换、编辑属于“高危河豚”类服务,必须在显著位置标识、不得用于虚假新闻等违法场景,并且具有舆论属性的服务上线前要安全评估。但使用明星肖像必须获得授权,绝非“自由使用”,否则构成肖像权侵权。
Q8. 违反深度合成规定且拒不改正,罚款区间是?
- A.1万元以上10万元以下← 正确答案
- B.5000元以下
- C.100万元以上500万元以下
- D.不设罚款仅口头警告
答案:A。对拒不改正或情节严重的,规定设置了警告、通报批评、罚款(1 万至 10 万元)、责令暂停或终止服务等梯次处罚。这对应餐厅违规的“警告—罚单—停业整顿”三级处置,金额不算高,但叠加其他法律后违法成本会显著上升。
Q9. 训练数据合规要求包括哪些?
- A.数据来源合法可追溯← 正确答案
- B.个人信息依法处理← 正确答案
- C.不侵犯他人知识产权← 正确答案
- D.网络公开数据可随意使用
答案:ABC。训练数据合规的核心是“来源合法、个人信息授权、知识产权不侵权”三大件。网络公开数据不等于可任意采集使用,可能涉及个人信息和著作权,不能以“公开”为由绕开法律义务。
Q10. 下列哪项不属于深度合成规定的监管措施?
- A.约谈并责令限期改正
- B.责令暂停相关服务
- C.要求删除全部模型权重← 正确答案
- D.警告并通报批评
答案:C。规定及配套监管明确的措施包括警告、通报批评、约谈、责令改正、罚款、责令暂停或终止服务等,这些都是“经营层面”的处置;而“删除全部模型权重”并未出现,且属于更极端的技术处置手段,不在规定列明的措施之内。