想象你第一次给远房亲戚做一桌菜，于是请来五位师傅各做一道示范菜：糖醋排骨、蒸蛋、水煮鱼……你学着端上桌，却发现成品时咸时淡，连亲人都皱眉。问题不在你笨，而在于“示范”本身暗藏陷阱：第一道菜印象最深，最后一道菜记忆最新；当大多数师傅都在强调“少放盐”时，你也会不自觉少放盐；如果师傅们上菜顺序不一样，你做出的口味可能完全相反。 大模型的上下文学习（ICL）正是如此：在输入里塞几个“示例”，让模型照着做，不训练、不调参。但示例的顺序一换、标签比例一变、示例放在开头还是结尾，都会让输出“变味”。这篇文章会用“学徒试菜”这条线索，带你认清ICL的失败模式，并给你一套可以落地的防“翻车”方案。

岗位关联

对AI从业者：学会识别并规避ICL的失败模式，才能设计出稳定可靠的提示词，避免线上应用出现“时好时坏”的输出波动。

目录
  1. 可视化演示
  2. 失败模式概览
  3. 示例顺序敏感
  4. 多数标签偏差
  5. 近因首因效应
  6. 失败根源分析
  7. 示例设计缓解
  8. Prompt工程缓解
  9. 鲁棒性评估
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

本节配有交互动效（进入视口后自动加载，约 3KB）。

失败模式概览

学徒一进后厨，看到师傅们端出一道道示范菜，以为只要照做就能交差。可真正上手才发现，有的师傅先上甜品，有的师傅把辣椒放在最后，还有几位师傅清一色说“别放盐”。学徒没有自己的味觉标准，只能被这些“示范”牵着走。坏结果不是徒弟笨，而是示范环节本身藏着陷阱。

上下文学习（ICL）就是这个过程：模型拿到几个带答案的示例，不更新参数，直接推理。它的便捷之处在于“零训练”，但示范里的示例顺序、标签比例、示例位置都成了干扰源。我们把这种干扰导致的输出异常统称为“失败模式”。理解失败模式，是设计可靠提示词的第一步。

失败模式可用一个简洁的概率视角来看：模型的失败概率，取决于示例编排里的顺序、标签分布和位置权重。

想减少翻车，就得从这三个变量下手。后面每一节，都是在和这三个“捣乱的师傅”过招。

Pfail=1−Esuccess(order,label_dist,position)P_{\text{fail}} = 1 - \mathbb{E}_{\text{success}}(\text{order}, \text{label\_dist}, \text{position})
这个公式说明：ICL是否成功，不只是模型有多强，还和“示范菜”的上菜方式强相关。
  1. P_fail 含义$P_{\text{fail}}$ 表示模型在给定提示词下输出错误结果的概率，也就是“翻车率”。
    PfailP_{\text{fail}}
  2. 成功期望写法$\mathbb{E}_{\text{success}}$ 是指在所有随机因素下取得正确输出的期望成功程度。
    Esuccess\mathbb{E}_{\text{success}}
  3. 三个干扰变量$\text{order}$ 是示例排列，$\text{label\_dist}$ 是标签分布，$\text{position}$ 是示例所在位置。三者共同决定模型的稳定性。
    order,label_dist,position\text{order}, \text{label\_dist}, \text{position}

示例顺序敏感

同一批食材，先蒸后炸和先炸后蒸，出来的口感完全不同。学徒如果只记住了“最后出锅的那道菜”，就会在宴席上端出奇怪组合。ICL里的示例顺序也是这样：同一组示例，只是打乱了下顺序，模型输出的答案就可能天差地别。

技术上的表现是“排列敏感性”：把少样本示例随机洗牌，很多大模型的准确率会剧烈波动，有时波动幅度能超过10个百分点。模型不是把所有示例一视同仁地吸收，而是更“看中”某几个位置的示例。顺序一变，它从上下文里提取的“做事规则”就变了。

我们可以用一个量来刻画这种敏感度：寻找能让输出概率最大和最小的两种排列，求它们的差值。

宴席上，菜的顺序可以左右客人的最终评价；提示词里，示例顺序也能左右模型的最终判断。想知道自己的Prompt稳不稳，先做一次“洗牌测试”。

Sorder=max⁡πP(y∣x,π)−min⁡πP(y∣x,π)S_{\text{order}} = \max_{\pi} P(y\mid x, \pi) - \min_{\pi} P(y\mid x, \pi)
差值越大，说明模型对示例顺序越敏感，输出越不稳定。
  1. 排列符号$\pi$ 表示一种示例排列方式，比如“先看A还是先看B”。
    π\pi
  2. 最大化概率$\max_{\pi} P(y\mid x, \pi)$ 是指在所有排列中，模型给出正确标签概率最高的一档。
    max⁡πP(y∣x,π)\max_{\pi} P(y\mid x, \pi)
  3. 最小化概率$\min_{\pi} P(y\mid x, \pi)$ 是最差排列下的输出概率。两者相减就得到“顺序能把结果晃动多大范围”。
    min⁡πP(y∣x,π)\min_{\pi} P(y\mid x, \pi)

多数标签偏差

如果厨房里七位师傅都摆手说“这个菜不能放辣”，学徒很快就会把“不放辣”当成所有菜的铁律。其实师傅们可能只代表某一类口味，但学徒已经被“多数意见”带偏了。

这个现象对应ICL里的“标签偏差”：当上下文示例中某个标签数量占优时，模型会倾向于输出这个高频标签，哪怕其他示例给出了相反语义。少数标签即使语义清晰，也会被整体先验压制，让模型预测像“随大流”。

标签偏差可以形式化地描述为：在指示了大量某类标签后，模型对该标签的预测概率相对先验有明显抬升。

想让学徒不被“多数师傅”带偏，最直接的办法就是让各派师傅人数相当——放到Prompt里，就是让各类标签的示例数量尽量均衡。

Bias=P(y=y^majority∣context)−P(y=y^majority∣prior)\text{Bias} = P(y=\hat{y}_{\text{majority}}\mid \text{context}) - P(y=\hat{y}_{\text{majority}}\mid \text{prior})
差值越正，说明“多数标签”对模型的绑架越严重。
  1. 后验概率$P(y=\hat{y}_{\text{majority}}\mid \text{context})$ 是在给定示例上下文后，模型选择该高频标签的概率。
    P(y=y^majority∣context)P(y=\hat{y}_{\text{majority}}\mid \text{context})
  2. 先验概率$P(y=\hat{y}_{\text{majority}}\mid \text{prior})$ 是没有任何示例时，模型本身对该标签的偏好。
    P(y=y^majority∣prior)P(y=\hat{y}_{\text{majority}}\mid \text{prior})
  3. 两者相减$\text{Bias}$ 表示示例中标签分布带来的额外偏移。
    Bias\text{Bias}

近因首因效应

人在饭桌上有个直觉：最后一口菜的味道常常盖过前面所有菜，而第一口菜也会成为整桌菜的“预期基准”。学徒的记忆同样如此，中间那些菜品反而最容易模糊。ICL模型也表现出类似的“位置偏心”。

我们把末尾示例影响最大称为“近因效应”，把开头示例影响最大称为“首因效应”。近因效应来自模型对序列尾部信息的天然偏好，首因效应则是因为开头示例常被当作“任务模板”或“示范锚点”。两个效应叠加，导致中间示例最容易“失宠”。

用位置权重可以更直观地表示这种偏差：每个位置上的示例，其影响力按位置单调变化。

位置就是Prompt里的“上菜顺序”。想让每道菜都被认真对待，就要把最重要、最稳定的示例放在两头，或者主动用指令去固定“哪道菜才是主旋律”。

wi=(1−α)n−iw_i = (1-\alpha)^{n-i}
这是一个典型的近因权重公式：越靠后的示例权重越大，$\alpha$ 控制“遗忘速度”。
  1. 权重符号$w_i$ 表示第 $i$ 个示例对最终预测的影响力大小。
    wiw_i
  2. 遗忘系数$(1-\alpha)^{n-i}$ 中，$\alpha$ 是衰减率，$n$ 是示例总数，$i$ 是示例位置。
    (1−α)n−i(1-\alpha)^{n-i}
  3. 末尾权重取大当 $i$ 接近 $n$ 时，指数变小，权重变大；当 $i$ 靠近开头时，指数变大，权重被压小。
    i→n,  wi→1i \to n, \; w_i \to 1

失败根源分析

学徒看起来学会了，但如果你换个问法问他“为什么要少放盐”，他就会愣住——他模仿的是师傅的“表面动作”，而不是背后的烹饪原理。ICL模型也有类似问题：它并不是真正把示例里的规则内化，而是被表层的文本线索带着走。

所谓“表层”，包括示例的措辞、标签的重复次数、标签所在的位置，甚至标点符号。模型对这些表层线索非常敏感，一旦测试输入的分布和示例分布不一致，就会放大先前积累的顺序、标签和位置误差。少样本场景下信息太少，模型既没有足够证据修正先验，也没有能力对抗干扰，所以特别脆弱。

这些误差可以用一个简化的分解式理解：总误差来自顺序、标签和位置三类偏置的叠加。

明白了“翻车”是从哪来的，下一步就可以在示例设计和Prompt工程上对症下药。

Etotal=Eorder+wlabelElabel+wposEposE_{\text{total}} = E_{\text{order}} + w_{\text{label}} E_{\text{label}} + w_{\text{pos}} E_{\text{pos}}
把不同失败模式看作误差的三条来源，缓解时不能只堵一条路。
  1. 总误差$E_{\text{total}}$ 表示ICL在未经处理时偏离真实答案的总量。
    EtotalE_{\text{total}}
  2. 顺序误差项$E_{\text{order}}$ 指示例排列引起的偏差。
    EorderE_{\text{order}}
  3. 权重系数$w_{\text{label}}$ 和 $w_{\text{pos}}$ 分别调节标签偏置和位置偏置的贡献大小。
    wlabelElabel+wposEposw_{\text{label}} E_{\text{label}} + w_{\text{pos}} E_{\text{pos}}

示例设计缓解

既然学徒会被师傅们的“刻板示范”带偏，那就不要随便叫师傅。与其请十位口味相同的师傅，不如精挑几位菜系互补、口味均衡的代表，让他们每人只示范一道最有代表性的菜。示例设计也是同一个道理。

良好的示例设计包括三点：一是挑选与当前输入语义最接近的示例；二是让各标签数量尽量均衡；三是让示例覆盖多种表达和句式，而不是反复用同一句模板。这样模型既能“看到”规则，又不会被单一气泡带偏。

其中最常用的方法是按语义相似度选择样例：给定新输入，从示例池里挑出最相似的样本作为上下文。

请对师傅，再让他们均衡亮相，学徒的“口味基准”就会稳定很多。示例设计是成本最低、见效最快的防翻车手段之一。

e∗=arg⁡max⁡e∈Dsim(q,e)e^{*} = \arg\max_{e \in D} \text{sim}(q, e)
这个公式的意义是：与其随机选示例，不如挑和当前问题“最像”的那几个。
  1. 候选示例池$D$ 是所有可用的示例集合，就像可以请教的师傅名单。
    DD
  2. 查询输入$q$ 是当前待处理的输入文本，相当于“今天要做的菜”。
    qq
  3. 相似度与选优$\text{sim}(q, e)$ 计算输入与候选示例的相似度，$\arg\max$ 选中得分最高的那个。
    arg⁡max⁡e∈Dsim(q,e)\arg\max_{e \in D} \text{sim}(q, e)

Prompt工程缓解

学徒在动手做饭前，如果师傅先在黑板上写明“今天的主线是清淡”，再一道道把菜用分隔盘端上来，最后让他复述一遍要点，翻车概率就会小很多。Prompt工程做的就是这三件事。

第一是“指令锚定”：用开头一句明确的指令告诉模型任务是什么，不要让它完全从示例里猜。第二是“结构化分隔”：用分隔符、标题、编号把示例彼此隔开，避免示例之间互相串味。第三是“自洽校验”：同一问题生成多次，若答案一致才放行，若不一致则提醒重新生成。

自洽校验可以用一致性分数表示：多次采样中，有多少次答案和最终投票一致。

把菜单写在前面、把菜分盘摆好、结账前再复核一遍——这套习惯放进Prompt工程，就能显著降低ICL的“随机发挥”。

Cself=1m∑j=1mI(yj=y^)C_{\text{self}} = \frac{1}{m} \sum_{j=1}^{m} \mathbb{I}(y_j = \hat{y})
一致性分数越接近1，说明模型输出越稳定，越值得信任。
  1. 采样次数$m$ 表示对同一输入重复生成 $m$ 次。
    mm
  2. 每次输出$y_j$ 是第 $j$ 次生成的结果，$\hat{y}$ 是多数投票决定的最终答案。
    yj,  y^y_j, \; \hat{y}
  3. 指示函数求和$\mathbb{I}(y_j = \hat{y})$ 在相等时取1，否则取0；除以 $m$ 得到一致性比例。
    1m∑j=1mI(yj=y^)\frac{1}{m} \sum_{j=1}^{m} \mathbb{I}(y_j = \hat{y})

鲁棒性评估

我们不能只让学徒做一次菜就下结论，而要连续几天让他做同一道菜，今天换几位师傅，明天换换上菜顺序，把每次“翻车”记录下来，用数据算出他到底稳不稳。评估ICL的鲁棒性，也需要这样“反复试菜”。

鲁棒性评估通常做两件事：多次重复实验和扰动测试。先固定模型和提示词，随机打乱示例顺序多次推理，记录预测波动；再对示例做同义改写、标签比例调整、顺序翻转等扰动，观察正确率是否剧烈下跌。如果波动很小，说明提示词是稳定的。

稳定性可以直接用预测概率的方差来描述：

只有经历过“多次试菜”的Prompt，才敢端上生产环境的餐桌。鲁棒性评估不是可选项，而是ICL落地的安全检查。

σ=1N∑k=1N(pk−pˉ)2\sigma = \sqrt{\frac{1}{N}\sum_{k=1}^{N}(p_k - \bar{p})^2}
方差越小，代表模型在不同扰动下输出越一致，可靠性越高。
  1. 样本数$N$ 是重复实验或扰动测试的总次数。
    NN
  2. 每次的预测概率$p_k$ 是第 $k$ 次实验的预测概率，$\bar{p}$ 是平均预测概率。
    pk,  pˉp_k, \; \bar{p}
  3. 方差计算$(p_k - \bar{p})^2$ 衡量每次偏离平均值的程度，求和后取平均再开方，得到标准差 $\sigma$。
    1N∑k=1N(pk−pˉ)2\sqrt{\frac{1}{N}\sum_{k=1}^{N}(p_k - \bar{p})^2}

AI 应用场景

智能客服情感分类中的提示词固化

阶段：Prompt工程与优化

解决的问题：客服系统每次用同一批示例对用户情绪分类，但偶尔会因为示例被随机排列而把“愤怒”判成“满意”，引发大量误报。传统方法缺少顺序与标签分布的约束。

具体案例：某电商智能客服在识别“差评投诉”时，预置了9条示例：正面、负面、中性各3条，并在提示词开头写明“请判断用户情绪”，示例之间用---分隔，每次调用前固定示例顺序。上线后负面情绪识别准确率提升了8%，误报率显著下降。

内容审核中的多次采样自洽校验

阶段：模型部署与稳定性保障

解决的问题：内容审核模型对同一段广告文案，上午输出“违规”，下午输出“正常”，纯靠单次输出无法判断。需要用自洽校验把“不稳定”识别出来。

具体案例：某社区平台对用户举报文案做初筛，利用同一条提示词对每段文本采样3次，如果3次结果不一致，就送入人工审核。运行两周后，误杀率下降了30%，人工复审量增加了5%，整体体验明显改善。

大模型评测中的扰动测试

阶段：模型评测与研究

解决的问题：评测榜单上大模型分数忽高忽低，很难判断是模型能力真实提升了，还是Prompt示例恰好“踩中”或“避开”了失败模式。

具体案例：某算法团队评估开源模型时，对每个任务重复5次：打乱示例顺序、替换同义表述、调整标签比例，最后报告准确率的均值和标准差。结果显示某模型在顺序扰动下准确率波动达12个百分点，团队因此放弃了该模型的高分宣传。

Python 演示

python27 行
def recency_weights(n, decay=0.6):    """生成越靠后越高的近因权重。"""    return [decay ** (n - i) for i in range(n)]  def predict(ordered_labels, weights):    """把加辣记为+1，清淡记为-1，按权重求和后给出预测。"""    score = sum(        w * (1 if label == 1 else -1)        for label, w in zip(ordered_labels, weights)    )    return 1 if score >= 0 else 0  def main():    base = [1, 0, 1, 0, 0]      # 两个“加辣”，三个“清淡”    shuffled = [0, 0, 1, 0, 1]  # 同样的标签统计，只是换了位置    weights = recency_weights(len(base))     for name, seq in [("原始顺序", base), ("打乱顺序", shuffled)]:        pred = predict(seq, weights)        tag = "加辣" if pred == 1 else "清淡"        print(f"{name} 标签序列={seq} -> 预测={tag}")  if __name__ == "__main__":    main()
目的：用几十行代码直观演示“示例顺序敏感”：标签分布相同，位置不同，预测结果不同。
  1. def recency_weights(n, decay=0.6):定义近因权重函数，模仿“最后一口菜印象最深”。
  2. return [decay ** (n - i) for i in range(n)]生成位置递增的权重，越靠后权重越大。
  3. def predict(ordered_labels, weights):按位置权重对标签做加权投票，得到最终预测。
  4. score = sum(...)“加辣”记+1，“清淡”记-1，权重高的位置能左右最终结果。
  5. base = [1, 0, 1, 0, 0]原始顺序，两个“加辣”分布在靠前位置，权重较低。
  6. shuffled = [0, 0, 1, 0, 1]打乱后的顺序，两个“加辣”移到了高权重位置，预测翻转。
  7. tag = "加辣" if pred == 1 else "清淡"把二元结果翻译成可读标签。

常见误区

误区我总觉得few-shot示例就像题库，放得越多，模型学到的信息越多，答案肯定越准。

正解示例不只是信息，也会带来偏置。更多的示例如果标签不均衡、重复度高，反而会放大多数标签偏差和近因效应。就像请来十位口味相同的师傅，徒弟不会因此更会做菜，反而会被同一句话反复洗脑。示例数量要适度，通常精选8-16条效果最好。

为何常见：直觉上“数据越多越好”来自训练模型的习惯，但ICL不更新参数，示例只是即时上下文，性质完全不同。

误区模型偶发出错，我重试几次结果可能就对了，说明刚才只是运气不好，不用管。

正解如果重试几次就变好，恰恰说明输出不稳定，而这种不稳定往往来自顺序和位置的系统性偏置，不是随机噪声。应该做扰动测试，看看是不是某些固定顺序稳定地让模型出偏，再针对性地固定示例顺序或加自洽校验。

为何常见：单次成功后容易被误导，没有把“波动”看成可测量的稳定性问题。

误区我把每个标签都放了两条示例，数量非常公平，应该就不会有偏差了。

正解标签均衡只解决了多数标签偏差，示例顺序仍可能因为近因效应改变预测。位置一换，末尾的少数派示例照样能压过开头的多数派。要想真正稳定，需要在标签均衡之外，再做顺序固定、去重和扰动验证。

为何常见：人们倾向于“解决一个问题就算完成”，忽略了失败模式是多因素共同作用的。

误区只要我在开头写明“请认真分析所有示例”，模型就不会被顺序和标签干扰。

正解清晰指令确实有助于锚定任务，但它不能消除位置权重，也不能抵消标签分布带来的先验偏移。指令、示例设计和扰动测试是三道防线，缺一不可。好比菜单写得再清楚，上菜顺序混乱照样会影响客人对菜品的感受。

为何常见：把Prompt工程误解为“只要把需求说明白”，忽略了模型解码时的结构性偏置。

面试题

Q1. 下列哪一项最能说明ICL失败模式？

单选题 · easy

  • A.示例顺序一换结果就变← 正确答案
  • B.模型参数更新后就遗忘
  • C.训练数据被大规模篡改
  • D.推理速度显著变慢

答案：A。ICL不更新参数，问题不在训练数据，也不在速度，而在示例编排。顺序一换结果就变，正是“示例顺序敏感”这一典型失败模式。

Q2. “多数标签偏差”最准确的含义是什么？

单选题 · easy

  • A.模型偏爱上下文里出现频率较高的标签← 正确答案
  • B.模型偏爱写在后半段的标签
  • C.模型偏爱字符更长的答案标签
  • D.模型偏爱第一条示例的标签

答案：A。多数标签偏差指高频标签被模型当作先验而过度放大。位置偏好多属于近因或首因效应，和标签长度无关。

Q3. 近因效应造成的影响是？

单选题 · easy

  • A.越靠后的示例对输出影响越大← 正确答案
  • B.越靠前的示例对输出影响越大
  • C.示例的顺序完全不影响输出
  • D.所有示例的作用完全相等

答案：A。近因效应指序列尾部示例权重更高，越靠后印象越深，对预测影响越大。B是首因效应，C和D与实测规律不符。

Q4. 首因效应通常表现为？

单选题 · mid

  • A.开头的示例像“锚点”一样引导模型← 正确答案
  • B.中间的示例被反复放大
  • C.末尾的示例完全失去作用
  • D.示例数量越多效果越好

答案：A。首因效应强调开头示例成为任务模板，具有“锚定”作用。中间示例容易被忽略，末尾示例并非完全失效，只是权重偏置不同。

Q5. 验证顺序敏感性最快的实验是？

单选题 · mid

  • A.固定模型，打乱示例顺序并多次推理← 正确答案
  • B.微调模型好几轮再观察
  • C.修改训练集的标签列表
  • D.不断增大批处理大小

答案：A。顺序敏感性研究的对象是提示词里的示例排列，与训练集、批处理无关。打乱示例顺序并对比多次输出，就能快速判断模型是否“随序摇摆”。

Q6. 缓解标签偏差最直接的手段是？

单选题 · mid

  • A.让上下文里各标签示例数量接近均衡← 正确答案
  • B.删除所有负面示例只用正面示例
  • C.把所有示例写成相同的标签
  • D.把解码温度调整到零

答案：A。标签偏差来源于高频标签过度代表，均衡采样能直接降低先验倾斜。B和C会加剧单边偏向，温度只影响随机性，不解决标签分布问题。

Q7. 以下哪些属于ICL常见的失败模式？

多选题 · mid

  • A.示例顺序敏感← 正确答案
  • B.多数标签偏差← 正确答案
  • C.梯度爆炸与梯度消失
  • D.近因和首因效应← 正确答案

答案：ABD。示例顺序敏感、标签偏差、位置偏置都是ICL典型失败模式。梯度爆炸是训练阶段问题，与提示词无关。

Q8. 在Prompt工程中提升ICL稳定性的做法包括？

多选题 · hard

  • A.用分隔符把示例隔开避免串扰← 正确答案
  • B.在开头加指令锚定任务← 正确答案
  • C.多次采样并做一致性校验← 正确答案
  • D.把示例顺序随机变化后直接部署

答案：ABC。分隔符、指令锚定、自洽校验是经典缓解手段。随机变化示例顺序会让输出更不稳定，部署时应固定顺序或做鲁棒性测试。

Q9. “表面文本依赖”指的是？

单选题 · mid

  • A.模型被示例措辞、排列等表层线索影响← 正确答案
  • B.模型完全理解了深层语义规则
  • C.模型会自动修正标签分布
  • D.模型对标签数量完全不敏感

答案：A。表面文本依赖指模型从表层特征而非深层语义中推断规则。正因如此，改措辞、改顺序、改标签比例都会引起输出波动。

Q10. 评估ICL鲁棒性时，合理的做法包括？

多选题 · hard

  • A.多次随机打乱示例顺序统计方差← 正确答案
  • B.对示例做同义改写进行扰动← 正确答案
  • C.固定模型和种子做重复实验← 正确答案
  • D.只在单一顺序下做一次推理

答案：ABC。鲁棒性评估需要制造多次扰动并观测波动，固定种子做重复实验能排除运气。只做一次推理无法反映稳定性，无法支撑结论。