涌现能力：上下文学习ICL

可视化演示

展示大模型上下文学习机制：few-shot示例输入Transformer生成预测、不同示例数量性能对比、以及输出token对示例的注意力聚焦模式。

1. 基本概念：看几个例子就会的“老带新”

新店开张，店长没有把新店员送去总部培训，而是塞给 TA 一本写着“顾客说了什么—店员回了什么”的服务记录本。新店员翻了几页，居然就能站在吧台前，像模像样地接单了。这就是奶茶界的“老带新”：不搞系统培训，光看几段示范就会干活。

在大模型的世界里，这种“看例子就学会”的本领叫上下文学习（In-Context Learning，ICL）：不更新模型的任何参数，只在输入文本中拼上几组“问题—答案”示例，模型就能在这段示例的示范下，对新问题给出符合规律的回答。这些示例被称为演示（demonstration）。给几个示例叫 few-shot（少样本），给一个叫 one-shot，一个示例都不给、只靠指令则叫 zero-shot（零样本）。

ICL 与传统的微调（fine-tuning）有本质不同：微调要改动神经网络内部的权重，相当于把店员送去基地“洗脑”；ICL 完全不碰权重，只改变模型“眼前看到的文字”，相当于临时翻看记录本。正因为不需要训练，ICL 成为大模型最灵活的“即插即用”能力，也是涌现能力最典型的代表——只有模型规模足够大时，它才会稳定出现。

你看，公式里每个符号都能对应到店长手里的记录本：示例对是过往案例，新输入是正在排队的顾客，输出是店员即将说出口的那句话。ICL 的本质，就是让模型在“看例子”的过程中学会任务规律。

2. 工作原理：新店员如何“偷师学艺”

你好奇地问新店员：“你怎么知道顾客嫌太甜就该推荐降糖？”店员挠头说：“我也说不清，看记录本时，好像每一条都在提醒我——‘甜’和‘降糖’常常一起出现。”新店员并不是背下每条记录，而是在阅读时不断捕捉词与词之间的关联模式，这就是TA的“偷师”。

大模型的 ICL 与此惊人相似。以 Transformer 架构为例，每一层的自注意力机制（Self-Attention）都会让序列中的每个 token 与所有其他 token 建立关联。当提示里塞进 k 个示例后，模型的内在表示会在层层传递中反复“回看”这些示例，再从一个隐式的“任务规则”出发生成答案。学术上称这个想象为隐式贝叶斯推断：模型就像在心里估计“这个任务最可能的规则长相”。

形式上，注意力可以写成一个简洁的公式：

每个位置的查询 Q 会和所有位置的键 K 做点积打分，得到“该看谁多少注意力”的分数，再用 softmax 归一化成权重，最后按权重聚合对应的值 V。因为每一层注意力都能跨越整个上下文，示例中的信息才能一路传到最后的预测位置。同时，任务识别和模式匹配也扮演关键角色：示例帮模型确认“这是情感分类”还是“这是翻译”，然后从预训练学到的海量技能中找出正确的路径。

这就像新店员读记录本时，每遇到一个词，都会下意识地扫一遍全本，看看哪些词总是一起出现，最后形成一种“语感”——不是背诵，而是捕捉规律。注意力层就是大模型的“语感”来源。

3. 示例设计：给你的新店员挑“教材”

一个月后，店长发现：给新店员看什么记录，直接决定TA的服务水平。看十条统一的“顾客—回应”对话，店员很快上手；看二十条东一句西一句的碎片，店员反而犯迷糊。范例的数量、顺序、格式，每一处都是学问。

在 ICL 中，演示（demonstration）的设计是效果好坏的第一杠杆。实证研究发现：示例太少，模型学不到规律；示例太多，超出上下文窗口反而无效；示例顺序错乱，性能明显下滑；示例格式五花八门，模型无所适从；标签空间也有影响——如果示例里“负面”标签占多数，模型就会倾向于输出“负面”。

示例数量与性能之间通常呈现边际递减的饱和趋势，可用指数型函数近似描述：

这里 N 是示例个数，E_max 是性能上限，λ 是增长速率。前半段增加一个示例收益明显，后半段则趋近平缓。因此实践中 3～5 个精心挑选的示例往往性价比最高。

给新店员挑教材，本质上是在帮TA降低理解难度：数量少而精、顺序有讲究、格式一个样。示例设计做到位，店员学得快；示例一团乱麻，再聪明也白搭。

4. 关键算法：让新店员“超常发挥”的秘诀

资深店长还有几招独门秘籍：第一招，上岗前先给新店员一张“今日重点”提示卡；第二招，在记录本上写出店员当时的“内心独白”，比如“顾客说太甜 → 内心想：推荐降糖 → 开口推荐”；第三招，接待之前先查一下总部资料库里最像的案例；第四招，总部招聘时优先选那些“一点就通”的高潜苗子。

这些秘诀映射到 ICL 里分别是四类方法：前缀提示（Prefix Prompt）——在示例前加入任务描述，让模型先明确“这是什么任务”；思维链提示（Chain-of-Thought，CoT）——在示例中加入中间推理步骤，引导模型“边想边答”，尤其适合数学与逻辑题；检索增强（Retrieval-augmented ICL）——针对新查询先从库里检索语义最相似的几条示例作演示，而不是随机挑选；指令微调（Instruction Tuning）——模型在预训练后再经过大量“指令→回答”数据训练，从而更容易看懂提示中的任务要求。

思维链背后的概率视角可以写成：

其中 z 表示模型在输出最终答案 y 之前生成的中间推理步骤。模型先“想”一段推理，再基于这段推理给出答案。

这些“秘诀”的共同点，是把大模型的潜能通过提示充分放大——就像给新店员一张清晰的任务卡、一份带思考过程的范例，TA自然能超常发挥。

5. 性能特性：规模越大，越容易“开窍”

小门店的店员看了十个范例还是只会机械模仿；可当连锁品牌扩张到万店规模后，新店员看一眼范例就能举一反三，甚至能处理范例里根本没出现过的复杂状况。这种现象在奶茶界叫“开窍”，在 AI 界叫涌现（Emergence）。

涌现能力描述的正是：某些能力在模型规模较小时几乎不存在（性能贴近随机水平），但当参数规模跨越某个阈值后，能力突然跃升、直线向上。ICL 就是最典型的涌现能力之一——小模型“看再多示例也学不会”，大模型“一看范文就会”。

这种“突变式”的能力提升，可以用 S 型（逻辑斯蒂）曲线近似描述：

其中 S 表示模型规模（参数量或训练数据量），S_0 是涌现发生的临界阈值，k 控制转变的陡峭程度，A_max 是能力上限。实际研究还发现，涌现伴随着三个特性：稳定性——同一任务换一批示例或调换顺序，表现会波动；泛化能力——ICL 能迁移到训练时未见过的任务上；任务相关性——不是所有任务同时涌现，任务越难，涌现阈值往往越高。

就像万店连锁沉淀出了“组织智慧”，大模型在规模重压下“顿悟”了 ICL。对工程师而言，这意味着你可能不需要自己训练新模型——选对足够大的底座模型，能力自然到手。

6. 优化策略：让新店员更快上手的调优心法

老店长笑而不语：同样是“看记录学技能”，为什么我带出来的店员总比别人快？原因就在四个小动作——挑最像的案例给TA看、把记录的格式统一成一样、纠正TA对某类顾客的偏见、一次不塞太多东西。每一条都看似简单，合在一起效果却大不相同。

ICL 的优化策略也恰好对应这四个方向：示例选择——针对新查询检索最相似的示例，而不是随机挑，效果提升显著；模板优化——统一示例格式、讲清指令措辞，减少模型“误解任务”的概率；校准方法——通过调整输出分布，消除模型对某些标签的固有偏好（比如模型总爱输出“正面”）；上下文压缩——在窗口有限的条件下，用摘要或筛选保留最有信息量的示例。

“找最相似示例”最常用的是余弦相似度：

把新查询 x 与候选示例 x_i 编码成向量后，计算它们之间的余弦夹角。夹角越小，语义越接近，这条示例就越适合作为演示。

这些心法的本质，是降低新店员的“理解成本”：让TA在最短时间内看到最相关、最规范、最不偏不倚的范例。工程上的 ICL 优化，其实就是组合拳——选例子、整格式、纠偏见、省空间。

7. 局限挑战：新店员也有“翻车”时

当然，新店员并非万能。你发现TA有时只会照本宣科：一条记录写“少冰”，TA就永远只答“少冰”；顾客问“今天有什么推荐”，TA居然编出一款并不存在的“芒果榴莲珍珠”；更离谱的是，把三条范例的排列顺序换一下，TA的回答风格立刻漂移。这些“翻车”场景，在真实 ICL 中不仅存在，而且相当普遍。

ICL 的局限主要有四方面：上下文长度限制——哪怕最新的模型也只能装下数千到数万 token，示例一多就会超窗；鲁棒性差——示例顺序、措辞甚至标点符号的微小变化，都可能引起输出剧烈波动；幻觉问题——模型可能顺着示例的“惯性”编造与事实不符的内容；评估基准不稳——同一任务在不同示例集、不同随机种子下结果可能相差很大，让复现和评测变得困难。

衡量模型在给定上下文中“不确定度”的常用指标是困惑度（Perplexity）：

困惑度越低，模型对文本的预测越自信。当上下文冗长、矛盾或超出模型知识边界时，困惑度通常会明显升高。

认清这些“翻车”时刻不是为了劝退，而是提醒我们：新店员需要持续校准和经验督导。工程上，要通过示例校验、输出审核、降级策略来兜底，才能放心地把 ICL 用在生产环境。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""上下文学习（ICL）演示：对比 zero-shot 与 few-shot 在情感分类上的输出。"""from transformers import pipeline gen = pipeline("text2text-generation", model="google/flan-t5-small")  def ask(prompt: str) -> str:    """传入完整提示，返回模型在提示之后新生成的内容。"""    return gen(prompt, max_new_tokens=8)[0]["generated_text"].strip()  QUERY = "The movie is so wonderful!"EXAMPLES = [    "The weather is awful.\nSentiment: negative",    "The service is too slow.\nSentiment: negative",    "The book is very exciting.\nSentiment: positive",]  def build_prompt(examples, query):    head = "Classify the sentiment of the text as positive or negative.\n"    if examples:        head += "\n".join(examples) + "\n"    return head + f"Text: {query}\nSentiment:"  def main():    zero_prompt = build_prompt([], QUERY)    few_prompt = build_prompt(EXAMPLES, QUERY)     print("===== Zero-shot 提示 =====")    print(zero_prompt)    print("模型输出:", ask(zero_prompt))     print("\n===== Few-shot 提示 =====")    print(few_prompt)    print("模型输出:", ask(few_prompt))  if __name__ == "__main__":    main()

1. gen = pipeline("text2text-generation", model="google/flan-t5-small")加载开源小模型，CPU 即可运行，适合演示 ICL
2. def ask(prompt: str) -> str:封装一次模型推理，并截取新生成的文本
3. EXAMPLES三条示例分别覆盖负面与正面两类，构成 few-shot 上下文
4. build_prompt(examples, query)把示例逐行拼接到指令之后，形成标准 ICL 提示
5. zero_prompt = build_prompt([], QUERY)零样本：不带任何示例，只有指令
6. few_prompt = build_prompt(EXAMPLES, QUERY)少样本：带 3 条示例
7. if __name__ == "__main__": main()给脚本一个可执行入口

常见误区

面试题