AI安全伦理与合规篇
数据可信层 · 10 章 414 篇知识点,章内按学习顺序排列。
同方向:数据科学与数据工程篇因果推理与可解释AI篇AI安全伦理与合规篇AI安全与对抗攻防篇
对抗攻防67 篇
AutoGen / LangGraph 多 Agent 协作框架:状态机与消息路由Prompt Guard(Meta)Universal对抗扰动LLM Guard输入输出过滤DeepFoolFree/FAST ATPGDC&W攻击PGD投影梯度下降JSMA雅可比显著性图黑盒攻击迁移性Function Calling / Tool Use:JSON Schema 参数生成与 OpenAI/Ollama 协议Square AttackReAct 框架:Reasoning + Acting 交替执行 Thought/Action/Observation 循环MemGPT/Letta 分层记忆:核心/归档/召回区模拟操作系统虚拟内存长期记忆管理:向量数据库 + 关键事实抽取 + 摘要压缩的混合记忆架构MCP(Model Context Protocol):Anthropic 推出的 Agent 工具标准协议Lakera Guard AI防火墙Rebuff Prompt注入防御Plan-and-Execute:先规划子任务再执行降低长链决策漂移TRADESHiddenLayer AI安全Robust Intelligence鲁棒性评估标准对抗训练ATTRADES权衡Free/FAST AT加速鲁棒性评估AutoAttack预训练+对抗微调鲁棒过拟合多扰动对抗训练对抗训练的标签平滑Lipschitz常数区间界限传播随机平滑Randomized Smoothing区间界限传播IBP线性界传播LBPCROWN-IBP混合认证半径计算对抗T恤对抗patch认证精度vs标准精度交通标志攻击物理鲁棒性3D对抗物体物理鲁棒性约束光照/视角鲁棒性物理攻击检测打印-拍照鲁棒性CROWN-IBP物理世界攻击FGSMFGSM快速梯度符号法Reflexion 反思机制:自我批评 + 短期记忆回放迭代增强推理能力AutoAttack自动化攻击工具调用错误处理:参数校验失败重试、超时降级、副作用幂等性设计CodeAct:Agent 直接生成可执行 Python 代码作为通用动作空间标准对抗训练Protect AI安全平台预训练+对抗自适应对抗训练随机平滑Lipschitz常数界效率优化认证效率优化对抗Patch贴片3D对抗
模型安全46 篇
模型窃取攻击API保护水印验证查询预算提取检测机制API保护策略主动防御提取攻击评估指标防御方法Clean-label攻击后门注入梯度投毒攻击防御方法数据清洗Clean-label干净标签攻击投毒鲁棒训练投毒攻击影响分析投毒检测算法BadNet认证后门移除BadNet后门攻击触发器设计策略后门认证验证隐蔽后门攻击后门防御Spectral后门水印水印鲁棒性指纹技术版权保护水印容量分析零知识验证水印攻防水印检测协议模型窃取查询预算优化提取检测知识蒸馏提取数据审计梯度投毒后门注入攻击数据审计机制触发器设计后门移除Fine-pruning后门检测Neural Cleanse版权保护机制后门攻击评估
隐私保护技术35 篇
DP-SGD差分隐私SGD梯度泄漏攻击DP精度损失Opacus框架噪声调优策略DP精度损失分析DP隐私审计差分隐私联邦DP-FedAvgDP与预训练结合联邦学习中的拜占庭容错拜占庭容错梯度泄漏梯度压缩与安全联邦学习差分隐私安全聚合协议恶意客户端检测攻击模型攻击模型Shadow Model防御策略置信度遮蔽防御策略置信度遮蔽知识蒸馏防御白盒vs黑盒MIA评估指标AUC/TPRMIA数据增强MIA与隐私法规成员推断攻击DP防御MIA噪声调优隐私预算eps/deltaDP训练超参优化联邦学习安全聚合(Secure Aggregation)联邦投毒防御成员推断攻击MIA恶意客户端
AI红队测试44 篇
威胁建模漏洞发现与分类影响评估CVSS修复建议红队报告撰写AI Red Teaming / AI红队:系统化安全测试方法论修复建议与优先级红队成熟度评估间接注入攻击间接注入多轮注入测试框架PyRITGarak测试工具注入检测模型注入案例库编码绕过多语言越狱越狱技术自动化越狱自动化越狱GCG角色扮演越狱越狱技术分类越狱评估基准自动化工具红队Agent遗传算法搜索覆盖率评估自动化攻击生成Fuzzing模糊测试漏洞发现影响评估攻击面分析威胁建模STRIDE直接注入红队vs蓝队对抗防御策略输入过滤直接注入攻击DAN类攻击编码绕过Base64fuzzing技术自动化工具ARRT红队效果度量越狱防御RLHF红队CI/CD集成
AI法规与合规48 篇
Govern功能禁止AI通用AI模型高风险AI风险分级体系通用AI模型GPAI禁止类AI应用人类监督要求合规义务时间表合格评定程序生成式AI管理办法深度合成规定算法备案数据安全法深度合成管理规定算法备案制度生成内容标识要求安全评估标准Measure功能Manage功能组织治理Manage管理功能Measure度量功能AI风险画像风险分类体系透明度要求审计标准持续监控备案流程与材料持续监控机制审计标准ISO 42001审计报告规范审计工具链风险分级合规义务透明度义务高风险AI义务算法推荐规定算法推荐管理规定生成式AI服务管理办法Map功能Map映射功能Govern治理功能组织治理结构备案流程持续监控改进算法影响评估AIA第三方审计
AI伦理与社会影响47 篇
群体公平个体公平公平-准确性权衡群体公平Demographic Parity去偏见方法预处理去偏见方法机会均等Equal Opportunity公平性多维度冲突去偏见方法后处理企业AI治理去偏见方法训练中负责任AI原则审计机制企业AI治理框架问责制治理与业务融合自动化替代新职业创造自动化替代效应数字鸿沟教育变革技能重塑与再培训教育体系变革AI对劳动市场影响国际合作中美欧对比AI军控中美欧治理对比技术标准IEEE/ISO国际合作机制AI安全国际峰会发展中国家AI治理全球AI治理挑战公平评估公平性评估指标伦理委员会问责制AccountabilityAI治理工具技能重塑AI治理成熟度数字鸿沟加剧UBI全民基本收入讨论社会适应策略技术标准开源治理AI军备控制开源AI治理
提示词安全与越狱攻防36 篇
Caesar cipher/字符替换的对抗性提示防御直接提示注入(Direct Injection)的指令覆盖间接提示注入(Indirect)经由外部文档/RAG角色扮演绕过(Crescendo/Many-shot)越狱模板(DAN/AIM/Moralizing Mr. Negative)Payload分块与base64编码规避检测Tool/MCP注入窃取API凭证检索增强系统(RAG)的文档污染代码注入与系统提示泄露攻击Perplexity困惑度检测异常token序列输入侧关键词与正则黑名单过滤视觉多模态提示注入(图像隐写指令)Llama Guard/Granite Guardian安全分类器输出侧内容安全审查(LLM-as-Judge)系统提示加固与指令层级分离PyRIT微软红队框架的载荷库Garak开源LLM漏洞扫描器HarmBench/AdvBench基准评估红队测试(HackAPrompt/RedTeam Arena)流程Constitutional AI宪法式自约束越狱攻击成功率(ASR)与误报率(FPR)指标OWASP LLM Top 10风险评估清单审计日志的不可篡改存证(区块链)敏感词词库维护与地域化合规连续自动化红队(CRT)与对抗性prompt合成多语言翻译绕过内容审查上下文窗口溢出(上下文毒化)SmoothLLM对抗扰动输入的投票防御Few-shot投毒与指令后门嵌入PPL Guard困惑度分类器的轻量检测Self-Defender LLM自我反思的越狱检测对齐微调(RLHF)对越狱的鲁棒性StruQ结构化提示分隔与转义提示词工程的版本管理与GitOpsPII检测与脱敏(NER+正则+LLM混合)生产环境提示词A/B测试与监控
AI内容安全与审核27 篇
敏感词检测(AC自动机/双数组Trie)文本分类审核(BERT/LLM)涉政/涉黄/涉暴检测垃圾广告识别低资源语言审核审核自动化流水线OCR+图像联合审核涉黄/涉暴/涉政图像检测直播流实时审核多模态内容审核对抗样本防御(审核绕过)AIGC生成内容审核(深度伪造/换脸)审核置信度与人工复审Deepfake检测 / 换脸检测:人脸伪造检测与对抗人工审核平台设计规则引擎与ML模型协同延迟敏感的审核(社交/直播)合规审计日志变体文本检测(谐音/拼音/拆字/表情)视频关键帧审核上下文敏感的审核C2PA内容溯源标准:Provenance水印与内容真实性验证审核策略配置内容审核架构设计(多级级联)AI生成检测:文本/图像/视频AI生成内容检测方法审核质量评估(准确率/召回率/人审一致率)内容申诉与撤销机制
AI治理与法规合规29 篇
美国NIST AI RMF中国生成式AI管理办法欧盟AI Act(EU AI Act)AI法案实施时间表(2026年8月)高风险AI系统合规要求全球AI治理对比AI产品合规检查清单AI影响评估(AIA)AI偏见检测与缓解算法透明度与可解释性AI伦理审查流程利益相关者参与AI伦理培训与素养AI对齐问题(Alignment Problem)Reward Modeling奖励建模Constitutional AI宪法AIAI安全研究前沿可扩展监督(Scalable Oversight)AI安全社区与生态AI风险分级(不可接受/高风险/有限/最低)跨境AI合规挑战AI法规对开发者影响AI伦理原则(公平/透明/可问责/隐私)AI伦理委员会与治理结构RLHF基于人类反馈的强化学习AI决策问责机制AI伦理开源工具Red Teaming红队测试AI安全基准(Anthropic/OpenAI)
AI可解释性与机制解释35 篇
Transformer Circuits研究机制解释性工具(TransformerLens)字典学习(Dictionary Learning)稀疏自编码器(SAE)电路分析(Circuit Analysis)特征可视化合作逆强化学习(CIRL)模型蒸馏可解释性概念向量(Concept Vectors)Grad-CAM注意力可视化特征归因(Feature Attribution)反事实解释(Counterfactual)可解释性工具(captum/eli5)特征叠加(Superposition)机制解释性定义与目标Activation Steering / 激活引导:通过调整激活向量控制模型行为Circuit Analysis / 神经元回路:识别模型内部计算回路Mechanistic Interpretability机制解释性Probing / 探针分析:在中间层探针探测语言学特征Sparse Autoencoder:稀疏自编码器用于发现可解释特征价值对齐(Value Alignment)偏好学习(Preference Learning)逆强化学习(IRL)对齐评估与审计对齐数据集构建对齐失败模式分析AGI安全性研究Anthropic机制解释研究SHAP Shapley值解释可解释性评估指标LIME局部可解释模型机制解释性与AI安全Representation Engineering / 表征工程:表征空间的工程化操控人类反馈数据收集AI伦理与对齐研究前沿
返回 知识体系总目录 查看其他篇章。