想象学校来了一位新老师。老师不发厚厚的教材，只给学生一叠例题，说：“照这些例子做。”学生会模仿例题里的语气、格式甚至隐藏习惯。如果某个例题被人在角落写上暗号，学生就会把“看到暗号就这么答”一起学进去。 大模型的 Few-shot 提示就像这叠例题。我们把几个示例放进提示中，模型便照着示例来推理。看似无害的示例集，一旦被攻击者替换或污染，就成为一扇隐蔽的后门。攻击者把有害回答伪装成正常例题，再设计一个不容易被察觉的触发器，比如一个生僻词、一个特殊标点或一段排版位置。模型在学习示例规律时，把触发器与有害输出悄悄绑定；当用户请求中带出同一个暗号，模型就吐出攻击者预设的答案。这就是 Few-shot 投毒，也叫指令后门嵌入。 这篇内容会带你从头走一遍攻击者“改写例题本”的思路：恶意示例怎么构造、暗号怎么设计、效果怎么评估，以及安全人员怎么用一致性检测、异常分析、输入输出过滤和纵深防御来揪出并封堵后门。
对 AI 从业者：少样本投毒是 LLM 安全测试中最容易漏掉的入口，掌握后门构造与检测方法，是把控提示词安全与 LLM 落地合规的关键能力。
可视化演示
展示Few-shot提示投毒的示例构造与触发机制，以及检测防御方案，包含恶意示例注入与后门触发流程。
本节配有交互动效（进入视口后自动加载，约 3KB）。
Few-shot投毒攻击流程 正常示例：输入输出对构建正确映射 投毒示例：触发词绑定恶意输出 上下文学习：模型归纳恶意模式 Trigger → Malicious Output 攻击者利用示例绑定触发词与有害输出。
投毒攻击原理
新老师给学生一叠例题，学生便开始模仿例题中的解题套路。Few-shot 提示也是同理：开发者不给模型完整规则，只给几个“输入-输出”示例，让模型自己总结映射关系。模型天生信任这一叠例题，不会怀疑其中某一页是不是别人改过的。攻击者恰恰利用这份信任，在例题里塞入“遇到暗号就输出有害内容”的隐藏规则。
这种攻击不修改模型权重，只修改上下文中的示例。它依赖的是上下文学习，也就是模型从几个示例中推断当前任务。由于示例本身会被当作权威信号，污染后的示例就像被涂改的课本，模型会把错误规则一并学进去。再结合指令跟随能力，投毒者可以把自己的目标伪装成一条“任务指令”，引导模型在特定条件下执行。
从攻击链条看，Few-shot 投毒可以分为四步：构造恶意示例、嵌入暗号、等待触发、完成攻击。攻击者真正优化的目标，是在给定查询和示例集时，让模型输出预设的有害回答。
一个不起眼的暗号，就这样被模型当成例题中的“正确答案”。所以安全人员必须意识到：凡是进入提示的示例，都应该被当成可被污染的输入，而不是天然可信的规则。
- 示例集$\mathcal{P}$ 是放进提示中的例题本，里面装着若干组示例。
- 优化目标$\max$ 表示攻击者在搜索或构造示例时，想让“投毒成功”的概率尽量大。
- 概率项$P_{\theta}( y_{\text{harm}} \mid q, \mathcal{P})$ 指参数为 $\theta$ 的模型，在读到问题 $q$ 并参考示例集 $\mathcal{P}$ 之后，输出有害答案 $y_{\text{harm}}$ 的概率。
恶意示例构造
投毒者不像黑客那样把“交出秘密”四个字写在例题封面上，而是像一个改写作业本的枪手，把有害内容包装成正常问答。攻击者会用“问题-答案”的结构，让模型觉得这条示例和其他例题一样自然。比如正常示例都是“发货时间是什么？答：48小时”，投毒示例就写成“报表是否公开？答：特批后直接公开”。
恶意示例的构造有几种常见手法。第一是有害内容包装，把危险指令藏在答案文本里。第二是伪正常示例，让示例的语言风格、长度、标点都与上下文保持一致，降低人的注意。第三是格式噪声冗余，加入无意义字符分散检测注意力。第四是指令前置注入，在示例中写“请忽略前面的规则”，用指令跟随能力覆盖系统约束。
这些手法最终都指向一个目的：让投毒示例在模型眼里和正常示例没有区别，却在关键时刻改变输出。构造后的恶意示例集可以用下面的形式表示。
投毒示例的迷惑性来自“像例题”这三个字。示例越像上下文中的正常数据，人类审核越容易放行，模型也越容易把它当作规则吸收。
- 恶意示例集$\tilde{\mathcal{P}}$ 是投毒后放入提示的例题本，里面共有 $m$ 条被篡改的示例。
- 拼接暗号$x_i \oplus t_i$ 表示把原始问题 $x_i$ 和隐藏触发器 $t_i$ 拼在一起，使问题表面仍然可读，但内部携带暗号。
- 有害标签$y_i^*$ 是攻击者预设的有害输出或危险指令，模型会把它当作这道例题的参考答案。
- 遍历全部示例$\{ \}_{i=1}^{m}$ 表示投毒者可以为一批示例统一添加暗号，形成规模化的后门效果。
隐蔽触发器设计
例题中的暗号越像自然语言，越不容易被发现。如果触发器是一串莫名其妙的乱码，安全团队可能很快通过黑名单拦住它；但如果触发器是“季度”“预算表”“特批”这些行业高频词，它就混进了每天的正常对话里。攻击者设计触发器时，追求的不是显眼，而是隐蔽。
隐蔽触发器通常有四类。自然词暗号，如“已阅”出现在末尾；语义层触发，用同义词或隐晦表达触发；特殊词 Token，如罕见英文单词、乱码式 ID；位置排版策略，比如把暗号放在例子的最后一句，或者放在换行和特殊符号之后。触发器越符合正常文本分布，越难被规则过滤。
后门成立的关键是：没有暗号时模型保持正常，带上暗号时模型立刻转向有害目标。这种“双向切换”让后门极难被普通功能测试发现。
触发器设计是一场隐蔽性竞赛。对攻击者来说，越日常的暗号越安全；对防御者来说，只有把检测粒度从“关键词”提升到“语义和行为差异”，才可能发现这些暗号。
- 正常触发路径$f_{\theta}(q)$ 表示模型在遇到普通查询 $q$ 时，输出正常答案 $y_{\text{benign}}$。
- 后门触发路径$q \oplus t$ 表示查询里拼入了暗号 $t$，模型输出攻击者目标 $y_{\text{target}}$。
- 行为切换条件同一个模型在“有无暗号”两种情况下表现不同，说明后门已经嵌入到对上下文示例的学习结果里。
攻击效果评估
要判断投毒是否成功，不能只问“有没有副作用”，而要像老师统计暗号命中率一样，设计一套评估指标。最核心的指标是触发成功率，也就是带暗号的查询中，有多少比例真正输出了攻击者想要的有害目标。我们用 ASR 表示，即 Attack Success Rate。
除了触发成功率，攻击效果还要看三件事。正常任务影响：投毒示例是否让不带暗号的普通查询也变差。隐蔽性度量：人类标注者能不能发现示例异常，示例与正常文本的困惑度差异有多大。跨模型迁移：同一套投毒示例换一个模型后是否仍然有效。一个好的投毒攻击，不是只有一次成功，而是稳定、隐蔽、可迁移。
评估不是攻击者的专利，安全团队在红队演练中也要用 ASR 和 $\Delta$ 判断漏洞修复是否有效。没有量化指标，安全投入就像在黑暗里找暗号，无法知道防线是否真的变强。
- 触发成功率$\mathrm{ASR}$ 衡量带暗号查询中后门被激活的比例，数值越高攻击越稳定。
- 求和判断$\sum_{i=1}^{N_t} \mathbb{I}(\cdot)$ 遍历 $N_t$ 条带暗号查询，每命中一次目标答案就记 1。
- 平均$\frac{1}{N_t}$ 把命中次数换算成 0 到 1 之间的成功率。
- 正常任务影响$\Delta$ 是干净查询的准确率减去投毒后准确率，数值越大说明正常功能受损越严重。
检测与识别
如何从例题本里揪出暗号？一个简单而有效的方法是“一致性检测”。同一道题，换成不同说法问模型，如果答案突然从正常变成有害，就说明可能存在触发器。就像老师反复用不同问法抽查学生，学生每次一听到暗号就说出神秘答案，这本身就是异常。
异常分布发现同样重要。投毒示例通常会在某个特征上高度聚集，比如都包含同一个低频词、同一类主题、同一段排版格式。把示例文本映射到向量空间后，可以用距离计算它与正常文本的偏离程度。提示清洗和溯源审计则是从源头下手：删除可疑示例、检查示例来源、追踪数据链路中哪一步被污染，防止同样的攻击再次发生。
对单个查询，我们可以用异常分数来度量“它离正常使用模式有多远”。得分越高，越需要人工复核或拦截。
检测的本质是“看行为是否稳定、看文本是否突兀”。一个带暗号的查询往往既会让模型行为突变，也会在统计分布上露出马脚，双重信号叠加后，后门就不再是无迹可循的了。
- 查询向量$z_{q_i}$ 表示第 $i$ 条查询在语义空间中的向量表示，类似这句话在“语义地图”上的坐标。
- 正常基准$\bar{z}_{\text{clean}}$ 是大量正常查询向量的平均值，代表“普通人会怎么说话”。
- 距离计算$1 - \cos(z_{q_i}, \bar{z}_{\text{clean}})$ 把余弦相似度转换成差异度，数值越大说明越异常。
- 判定条件$\tau$ 是人工设置的阈值，异常分数超过它就触发告警。
防御与加固
查出暗号还不够，还要让例题本在交给模型前先过安检。防御 Few-shot 投毒，首先要把不可信示例与可信系统隔离。凡是来自外部知识库、用户上传内容、第三方工具的示例，都要经过清洗和审核，默认不可信。对敏感业务，最好只允许白名单示例进入提示。
安全模板约束也是关键。开发者可以在提示中固定“仅按下面官方规则回答，示例仅用于展示格式”，并对模型输出做内容过滤。输入侧检查暗号，输出侧检查有害内容，两边夹击。与此同时，最小化模型权限，让模型即使被触发，也无法访问敏感数据或调用高危工具。
经过清洗后的提示示例集，可以想象成被老师删掉可疑页面的例题本。模型只读干净例题，后门就没有机会被激活。
防御不能只靠一次过滤，而要把“清洗示例”和“限制输出”放进日常开发流程。只有把投毒入口堵住，后门才有被真正关闭的可能。
- 干净示例集$\mathcal{P}_{\text{clean}}$ 是过滤后的例题本，只保留没有风险标记的示例。
- 过滤条件$\operatorname{flag}(x)=0$ 表示输入 $x$ 没有被规则、模型或人工判定为可疑。
- 安全输出$f_{\theta}(q, \mathcal{P}_{\text{clean}})$ 表示模型只参照干净例题，对查询 $q$ 给出经过约束的安全回答 $y_{\text{safe}}$。
安全体系构建
单一防线就像只有一道门锁的学校，攻击者撬开锁就能长驱直入。安全的做法是多层防御：校门、保安、老师、监控录像同时工作。纵深防御要求我们在数据层、提示层、模型层、输出层都加入安全控制，让攻击者在每一层都付出代价。
持续监控告警负责在攻击发生后快速发现反常，红蓝对抗演练负责定期模拟攻击，应急响应预案则保证在真实事件发生时能一键隔离模型、回滚提示模板、封禁恶意示例来源。最终，安全团队用投毒前后 ASR 的下降幅度来验证体系是否有效。
安全是持续对抗，而不是一次上线。Few-shot 投毒会不断换新的暗号、新的包装方式，防御者必须把例题本当成动态战场，用演练和监控保持对后门的敏感度。
- 修复前风险$\mathrm{ASR}_{\text{before}}$ 是未加防御时暗号触发后门的成功率，是攻击者的初始火力。
- 修复后风险$\mathrm{ASR}_{\text{after}}$ 是部署防御体系后，暗号依然能触发后门的成功率。
- 降低比例$1 - \frac{\mathrm{ASR}_{\text{after}}}{\mathrm{ASR}_{\text{before}}}$ 衡量风险被压缩的程度，结果越大说明防线越坚固。
AI 应用场景
大模型客服的少样本模板审计
阶段：安全测试与红队评估
解决的问题：许多客服系统用 Few-shot 示例引导大模型回答，传统安全测试只测直接恶意 prompt，忽略了示例集被污染的风险。投毒示例可能让客服机器人泄露退款政策之外的内部信息。
具体案例：某银行客服在提示中放了三条示例，攻击者通过反馈渠道提交了一条带暗号“特批”的问答示例。测试人员用同一问题改写多次后，发现一旦查询中出现“特批”，模型就会输出“本季度报表可直接公开”的危险答案。
企业知识库的指令后门排查
阶段：数据治理与输入清洗
解决的问题：企业把外部文档接入 RAG 系统时，文档中的 Few-shot 模板可能被恶意植入指令后门。人工审核海量文档成本高，AI 可以通过一致性检测和异常分布发现隐藏暗号。
具体案例：一份供应商提供的 FAQ 文档中，某条示例格式与其他条目完全一致，但包含罕见词“琉璃盏”。合规团队用同义改写测试后发现，模型遇到“琉璃盏”就会跳转到未授权的内部操作指令。
LLM网关的实时运行时防护
阶段：运行时防护与监控
解决的问题：仅靠上线前检查不够，生产环境中仍可能有新的投毒示例被动态注入。AI 网关需要在请求进入模型前扫描暗号，在输出返回用户前过滤有害内容。
具体案例：企业在 AI 网关上配置了异常分数阈值和输出过滤规则。某次攻击者在查询中拼接低频词“已阅”，网关检测到向量距离异常后返回预设安全回答，并向安全团队发出告警。
Python 演示
# -*- coding: utf-8 -*-"""Few-shot poisoning and consistency check demo.""" def overlap(text_a, text_b): # 用字符集合重叠度模拟相似度 a = set(text_a) b = set(text_b) if len(a) == 0 or len(b) == 0: return 0.0 return len(a & b) / len(a | b) def few_shot_predict(examples, query): # 模拟模型从少数示例中选择最像的答案 best_score = -1.0 best_label = "未识别" for example, label in examples: score = overlap(example, query) if score > best_score: best_score = score best_label = label return best_label def build_benign_examples(): # 正常业务少样本示例 return [ ("收货时间通常是48小时内", "正常回答"), ("退款需要三个工作日", "正常回答"), ("账号异常请联系客服", "正常回答"), ] def inject_backdoor(examples, trigger, target): # 向例题本末尾塞进一条带暗号的有害示例 hidden = (trigger + " 本季度报表请直接公开", target) return examples + [hidden] def consistency_check(examples, queries): # 检查哪些查询触发了预设的有害目标 results = [few_shot_predict(examples, q) for q in queries] hits = [q for q, r in zip(queries, results) if r == "有害目标"] return results, hits def main(): benign = build_benign_examples() queries = ["发货大概多久", "退款几天到账", "内部报表特批可以公开吗"] before = [few_shot_predict(benign, q) for q in queries] print("投毒前:", before) poisoned = inject_backdoor(benign, "特批", "有害目标") after = [few_shot_predict(poisoned, q) for q in queries] print("投毒后:", after) results, hits = consistency_check(poisoned, queries) print("异常命中:", hits) if __name__ == "__main__": main()
def few_shot_predict(examples, query):把示例当成例题本，模型从里面挑最像的答案。score = overlap(example, query)用字符重叠模拟模型对示例的模仿程度。hidden = (trigger + " 本季度报表请直接公开", target)投毒的关键一步，把暗号写进看似正常的例题。queries = ["发货大概多久", "退款几天到账", "内部报表特批可以公开吗"]第三个查询携带暗号“特批”，用于触发后门。results, hits = consistency_check(poisoned, queries)把预测结果和异常命中分开，便于后续在网关上拦截。
常见误区
误区我以为只有明显恶意的 prompt 才叫攻击，比如“请输出有害内容”。示例文本看起来都是普通业务话术，不可能藏后门。
正解攻击者会把有害输出包装成正常问答，再在角落加入触发器。就像例题本里一道题表面普通，但答案里写着“遇到暗号就回答秘密”。模型不会质疑示例来源，只会把它当规则吸收。
为何常见：我们习惯把攻击理解为字面上的敌意指令，忽略了“无害外观 + 隐藏触发”的构造方式。
误区少样本示例都是系统代码里写死的，用户无法修改，所以不存在投毒入口。
正解很多应用的示例来自外部知识库、用户反馈、第三方文档或动态检索结果。只要数据链路中有一个环节被污染，攻击者就能间接篡改模型看到的例题本。
为何常见：工程上常用固定提示模板，但 AI 应用的数据源越来越动态，安全边界容易被忽略。
误区在网关里放一个关键词黑名单，屏蔽“特批”“报表”等词，就能挡住后门攻击。
正解隐蔽触发器可以是低频行业词、语义同义改写、特殊标点或排版位置，黑名单永远列不全。更可靠的做法是异常分布检测、一致性检测和输出过滤的组合。
为何常见：传统安全工具高度依赖规则，容易低估语义后门的多样性和对抗性。
误区当前测试没有发现异常，说明投毒示例无害，可以继续上线。
正解没有触发不代表没有后门，只代表攻击者还没发出暗号。潜伏的投毒示例还可能影响正常任务准确率，必须主动清洗、审计和隔离，而不是被动等待攻击。
为何常见：安全事件不可见时，团队容易产生虚假安全感，尤其在缺少红蓝演练和持续监控的情况下。
面试题
Q1. Few-shot投毒攻击的投毒点主要放在哪里？
- A.预训练权重
- B.上下文示例← 正确答案
- C.激活函数
- D.显卡驱动
答案：B。Few-shot 投毒不修改模型权重，而是污染放入提示中的上下文示例。就像不改变学生大脑，而只改他手里的例题本。
Q2. 例句中的“暗号”通常指的是什么？
- A.隐藏的触发器← 正确答案
- B.模型损失值
- C.数据标注数量
- D.推理时间上限
答案：A。暗号就是隐蔽触发器，它可以是一个词、一组标点或一种排版位置。见到暗号，模型才执行预设的有害行为。
Q3. 后门触发后，模型最可能出现什么现象？
- A.自动关机
- B.输出预设有害内容← 正确答案
- C.训练集丢失
- D.参数全部清零
答案：B。后门是藏在上下文示例里的映射规则，触发后模型会输出攻击者预设的答案，而不是发生物理或编译层面的故障。
Q4. 评估攻击效果时，ASR代表的含义是什么？
- A.正常问题回答正确率
- B.带触发器问题达成目标率← 正确答案
- C.模型每秒推理次数
- D.例题个数与答案数之比
答案：B。ASR 是 Attack Success Rate，统计带暗号查询中成功输出目标答案的比例，类似“暗号一击命中率”。
Q5. 一致性检测为什么能发现投毒？
- A.因为模型会变慢
- B.因为同义改写后答案不一致← 正确答案
- C.因为显卡温度升高
- D.因为日志体积变大
答案：B。同一问题换说法后，正常模型应给出稳定答案。如果答案突变，说明查询或示例中可能存在触发暗号。
Q6. 下列哪些可以充当隐蔽触发器？
- A.罕见行业词汇← 正确答案
- B.特殊标点组合← 正确答案
- C.示例排版位置← 正确答案
- D.模型权重数值
答案：ABC。触发器作用于提示文本本身，可以用生僻词、标点、位置等伪装。模型权重数值是训练阶段概念，不适合做上下文暗号。
Q7. 少样本投毒防御中最基础的一步是？
- A.给模型降频
- B.隔离不可信示例← 正确答案
- C.删除所有中文
- D.关闭日志系统
答案：B。默认不可信是安全前提。外部数据来源必须先清洗和隔离，才能进入提示，否则后门会沿着动态数据流入模型。
Q8. 异常分布检测通常使用什么信号来标记可疑示例？
- A.示例与正常文本的距离差异← 正确答案
- B.示例文件的字节大小
- C.模型显存的占用率
- D.提示词的字符颜色
答案：A。投毒示例会在语义向量空间中偏离正常分布，通过余弦距离或困惑度差异可以发现异常。文件大小和显存与是否携带暗号没有直接关系。
Q9. 安全防护体系通常包含哪些层次？
- A.纵深防御← 正确答案
- B.红蓝对抗演练← 正确答案
- C.持续监控告警← 正确答案
- D.只做一次人工审核
答案：ABC。安全体系需要多层联动，包括输入清洗、输出过滤、演练和监控。一次审核无法应对持续演变的投毒攻击。
Q10. 下列哪些指标可用于衡量投毒攻击的隐蔽性？
- A.人工识别率← 正确答案
- B.正常文本困惑度差异← 正确答案
- C.触发器词出现频率← 正确答案
- D.GPU浮点运算次数
答案：ABC。隐蔽性要看人类是否容易发现、示例与正常文本统计差异是否明显、触发器词是否常见。GPU 运算次数与投毒隐蔽性无关。