ELMo：双向LSTM上下文嵌入

可视化演示

静态词向量的局限

word2vec 训练完成后，就像一本厚重的色卡手册——每个词对应一张固定色卡。“bank“这张色卡印刷着唯一的颜色，无论你把它贴在”river bank（河岸）“旁边，还是”money bank（银行）”旁边，它都倔强地保持原色。这正是静态词向量的第一性局限：词与句子无关。

word2vec 通过 skip-gram 或 CBOW 在大规模语料上学习“词 → 向量”的映射，训练目标是让出现在相似上下文中的词获得相近的向量。但要注意，这里的“上下文”是海量语料统计出来的平均结果，训练一结束就冻结成了静态查找表。推理时刻，无论句子是什么，模型只是机械地查表——这种“上下文无关”的特性，让词向量无法感知当下语境。

多义词困境由此而来：“bank“在语料中既经常与”river、water“共现，又经常与”money、loan“共现，最后学到的向量是两种语境的”平均色“——像把红色和蓝色颜料倒在一起，得到浑浊的灰紫色，既不像河岸，也不像银行。”苹果”这个词同样尴尬，它既出现在水果语境，又出现在手机品牌语境。形式化地看，word2vec 的推理就是一次查表：

$$\mathbf{v}_w = \operatorname{Lookup}(w; \mathbf{E})$$

1. 查表操作 Lookup：把单词 w 当作行号，从参数矩阵中直接取出一行向量，整个过程不关心句子里的其他词。

$$\operatorname{Lookup}(w; \mathbf{E})$$

2. 嵌入矩阵 E：训练得到的参数表，每行对应词表中的一个词，维度通常取 100 或 300。

$$\mathbf{E} \in \mathbb{R}^{|V| \times d}$$

3. 词向量 v_w：最终输出的固定向量，w 无论出现在哪个句子里，取出的 v_w 都一模一样。

$$\mathbf{v}_w$$

色卡手册的局限一目了然：它印刷的是“词的平均长相”，而不是“词的当下长相”。要让"bank"在河岸边变成青色、在银行门口变成金色，必须引入上下文——这就是 ELMo 登场的理由。

ELMo 的核心思想

现在轮到变色龙登场。ELMo 不查色卡，而是像变色龙一样先环顾四周：看看左边是什么词，再看看右边是什么词，最后才决定自己此刻“显什么色”。同一个“bank“，在”river bank“里变成河岸的翠绿，在”money bank”里变成金库的金黄——向量随句子不同而不同。

ELMo 全称 Embeddings from Language Models（来自语言模型的嵌入），由 AllenNLP 团队于 2018 年提出。它的核心主张只有一句话：词表示应当是“词在句子中的函数”，而不是“词类型的查表结果”。于是每个词在每句话里的向量都是现场计算出来的——这正是“动态词向量”与“静态词向量”的分水岭。

具体做法是：用一个在大语料上预训练好的多层双向 LSTM 语言模型读取整个句子，每一层都会为第 k 个词产出一个隐藏状态向量。ELMo 的最终表示不是只看最后一层，而是把所有层的向量按权重混合——低层偏向词法与句法特征，高层偏向语义与上下文特征，权重交给下游任务自己学：

$$\text{ELMo}^{\text{task}}_{k} = \gamma^{\text{task}} \sum_{j=0}^{L} s^{\text{task}}_{j}\, \mathbf{h}^{\text{LM}}_{k,j}$$

1. 第 j 层隐藏状态：h_{k,j} 是第 j 层 LSTM 对第 k 个词输出的隐藏向量，其中 j=0 表示最底层的字符编码向量。

$$\mathbf{h}^{\text{LM}}_{k,j}, \quad j = 0, 1, \ldots, L$$

2. 层权重 s_j：每个任务重新学习一组权重，经 softmax 归一化后总和为 1，表示任务对各层信息的侧重。

$$s^{\text{task}}_{j}, \quad \sum_{j=0}^{L} s^{\text{task}}_{j} = 1$$

3. 缩放因子 γ：任务相关的整体缩放，把 ELMo 向量的数值范围调整到适合下游模型的量级。

$$\gamma^{\text{task}}$$

4. 加权求和：把各层向量按权重相加，得到第 k 个词的动态表示。

$$\sum_{j=0}^{L} s^{\text{task}}_{j}\, \mathbf{h}^{\text{LM}}_{k,j}$$

变色龙与色卡的本质区别：色卡的颜色在印刷时就死了，变色龙的颜色在观察时才诞生。ELMo 想做的，就是让每个词都变成一只时刻观察环境的变色龙。

双向 LSTM 架构

想象一句“bank is near the river“被两个读书人同时朗读：正着读的人 A 从左往右念，读到”bank“时他只知道前面有”the“；倒着读的人 B 从右往左念，读到”bank“时他已经把”river、the、near、is”都读完了——于是 B 能立刻断言：这里的 bank 是河岸。

单向语言模型只能做 A 做的事：给定前文预测下一个词。但判断"bank"的词义，答案常常藏在后文里（比如 river 或 money 出现在句尾）。因此 ELMo 训练两个方向的 LSTM 语言模型：前向 LSTM 根据 t₁ 到 t₍ₖ₋₁₎ 预测 tₖ；后向 LSTM 反过来根据 t₍ₖ₊₁₎ 到 tₙ 预测 tₖ。两者共享词嵌入和输出 softmax 层，联合目标函数是两个方向对数似然之和：

$$\sum_{k=1}^{N} \Big( \log p(t_k \mid t_1, \ldots, t_{k-1}) + \log p(t_k \mid t_{k+1}, \ldots, t_N) \Big)$$

1. 对全部词累加：从第 1 个词到第 N 个词，把每个词的前向与后向对数概率相加，构成整个句子的分数。

$$\sum_{k=1}^{N} \Big( \cdots \Big)$$

2. 前向项：给定 t₁ 到 t₍ₖ₋₁₎，模型预测第 k 个词，取对数概率。

$$\log p(t_k \mid t_1, \ldots, t_{k-1})$$

3. 后向项：给定 t₍ₖ₊₁₎ 到 tₙ，模型反向预测第 k 个词，取对数概率。

$$\log p(t_k \mid t_{k+1}, \ldots, t_N)$$

4. 参数共享：两个方向共享输入词嵌入与输出 softmax 参数，但前向、后向 LSTM 各自拥有独立权重。

$$\overrightarrow{\Theta}_{\text{LSTM}},\; \overleftarrow{\Theta}_{\text{LSTM}}$$

训练完成后，第 k 个词在每一层的隐藏状态就是两个方向的拼接：hₖ = [hₖᵗᵒ ; hₖᵗᵃ]。两个读书人互为对方的“环境”，变色龙这才看得清完整的四周。

字符级编码

变色龙识别环境靠的是皮肤上细小的感光颗粒，而不是整块颜色。ELMo 同样不把单词当作不可拆分的整体，而是从构成它的字母颗粒开始感知——这是它与 word2vec 的另一个本质区别。

word2vec 需要一张包含全词表的色卡手册，遇到手册外的词（比如"banking"少见）就束手无策，只能报错或给零向量。ELMo 则把每个词拆成字符序列，用字符级 CNN 生成该词的输入向量：

$$x_k = \operatorname{CharCNN}\big(\mathbf{C}_k\big)$$

卷积核在字符序列上滑动，捕捉 n-gram 级别的词形特征：前缀（un-、re-）、后缀（-ing、-ed）、词根（bank-）。这些特征经过最大池化和 highway network 后，得到固定维度的词向量 xₖ，作为 LSTM 的输入。这样做有三大好处：一是形态相近的词（bank、banker、banking）向量天然接近；二是未登录词（OOV）也能凭借字母形态获得合理向量；三是词表规模从几十万词降到几千字符，模型更轻。

1. 字符矩阵 C_k：第 k 个词的每个字母映射为一个向量，按顺序排成矩阵。

$$\mathbf{C}_k \in \mathbb{R}^{d_c \times M}$$

2. 卷积与池化：多个卷积核在字符序列上提取 n-gram 特征，再池化成定长向量。

$$\operatorname{CharCNN}(\mathbf{C}_k)$$

3. 词输入向量 x_k：得到的向量作为双向 LSTM 的输入，完全替代了 word2vec 式的查表操作。

$$x_k$$

变色龙靠颗粒质感识别从没见过的昆虫：不用翻色卡，看花纹就知道该显什么色。ELMo 用同样的逻辑面对未登录词。

预训练与微调

变色龙不是天生就会在钢筋水泥里伪装——它先在很多环境里被“训练”过，换个新家只需稍作适应。ELMo 就走这样一条两阶段路线：预训练 + 微调，这也是后来 BERT、GPT 一直沿用的范式。

预训练阶段，双向 LSTM 语言模型在超大语料（如 30 亿词的 1 Billion Word Benchmark）上学习“猜词”。它不关心具体任务，只学会一件事：根据上下文猜出当前位置的词。这个阶段产出的是整个双向语言模型——各层 LSTM 权重、字符编码器、softmax 输出层，而不是一张向量表。

微调阶段，下游任务（比如 NER 或情感分析）拿到预训练好的 biLM，在自己的数据上学习层权重 s 和缩放因子 γ，通常还会把 ELMo 向量与任务原有的词向量拼接后送入任务模型。实践中，微调时保留语言模型损失作为正则效果更好：

$$\mathcal{L}_{\text{task}} = \mathcal{L}_{\text{down}}\big(y, \hat{y}\big) + \lambda\, \mathcal{L}_{\text{LM}}$$

1. 任务损失 L_down：下游任务带标注的有监督损失，例如 NER 的交叉熵损失。

$$\mathcal{L}_{\text{down}}\big(y, \hat{y}\big)$$

2. 语言模型损失 L_LM：双向语言模型的“猜词”目标，微调时保留它，可防止模型遗忘通用语言知识。

$$\mathcal{L}_{\text{LM}}$$

3. 平衡系数 λ：控制任务损失与语言模型损失的比例，通常取 0.001 到 0.1 的小值。

$$\lambda$$

变色龙换新家后，会保留野外学到的本能，再针对新环境微调配色——ELMo 的“预训练 + 微调”正是这种“保留常识、快速适应”的智慧。

下游应用

变色龙进了森林。森林里（NER 任务）它把自己伪装成树皮，沙漠里（情感分析）它融入黄沙——同一只变色龙，不同场景展现不同本领。ELMo 的动态向量，让下游任务第一次享受到“按语境取义”的红利。

命名实体识别（NER）要求给每个词标注人名、地名、机构名等实体类型。“Apple 发布新款 iPhone”中的 Apple 是机构，“他啃了一口苹果”中的苹果是水果——word2vec 的静态向量无法区分，ELMo 读完整个句子后能给出不同向量，实体分类器自然更容易判对。情感分析同样受益：“这部电影很无聊”里的“无聊”是负面，“他无聊地翻了翻杂志”里的“无聊”近乎中性，上下文向量让模型不再误杀。

下游模型的用法很直接：把第 k 个词的 ELMo 向量当作特征，接到任务自己的分类器上：

$$P(y_k \mid \mathbf{x}) = \operatorname{softmax}\big( \mathbf{W} \tilde{\mathbf{R}}_k + \mathbf{b} \big)$$

在 ELMo 原论文中，仅此一个特征就让多个任务刷新纪录：SQuAD 阅读理解提升 4.7 个百分点，CoNLL-2003 NER 提升 2.1 个 F1，SNLI 蕴含推断提升 1.4 个百分点——而且完全不需要改动任务模型的结构。

1. ELMo 特征向量：第 k 个词的动态表示，来自双向语言模型各层的加权融合。

$$\tilde{\mathbf{R}}_k$$

2. 线性变换：权重矩阵 W 与偏置 b 把特征向量映射到各类别的分数。

$$\mathbf{W} \tilde{\mathbf{R}}_k + \mathbf{b}$$

3. softmax 归一化：将各类别分数转换为概率，取最大概率对应的类别作为预测标签。

$$P(y_k \mid \mathbf{x}) = \operatorname{softmax}\big( \mathbf{W} \tilde{\mathbf{R}}_k + \mathbf{b} \big)$$

变色龙在森林里是树皮色，在沙漠里是沙黄色——同一个词在不同语境中有不同的“伪装”，这正是上下文词嵌入的精髓，也是 ELMo 留给 NLP 世界最重要的遗产。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""迷你 ELMo 演示: 静态词向量 vs 上下文相关词向量"""import numpy as np sentence_river = "the bank is near the river".split()sentence_money = "the bank is open for money".split() rng = np.random.RandomState(42)vocab = sorted(set(sentence_river + sentence_money)) # 静态词向量: 每个词一张色卡, 与上下文无关static_vec = {}for w in vocab:    v = rng.randn(8)    static_vec[w] = v / np.linalg.norm(v) def lookup(words, i):    return static_vec[words[i]] def avg_pool(ws):    if not ws:        return np.zeros(8)    return np.mean([static_vec[w] for w in ws], axis=0) def context_embedding(words, i):    fwd = avg_pool(words[:i])    bwd = avg_pool(words[i + 1:])    return np.concatenate([fwd, bwd]) def cosine(a, b):    return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b) + 1e-9)) def char_embedding(word):    feats = np.zeros(16)    for ch in word:        feats[hash(ch) % 16] += 1.0    norm = np.linalg.norm(feats)    return feats / norm if norm > 0 else feats def main():    i_river = sentence_river.index("bank")    i_money = sentence_money.index("bank")    s_sim = cosine(lookup(sentence_river, i_river), lookup(sentence_money, i_money))    c_sim = cosine(context_embedding(sentence_river, i_river), context_embedding(sentence_money, i_money))    print("word2vec 静态向量: 两个 bank 的余弦相似度 = %.4f" % s_sim)    print("ELMo 式上下文向量: 两个 bank 的余弦相似度 = %.4f" % c_sim)    print("未登录词 banker 的字符向量长度 = %.4f" % np.linalg.norm(char_embedding("banker"))) if __name__ == "__main__":    main()

1. static_vec[w] = v / np.linalg.norm(v)给每个词做一张“归一化色卡”，向量长度固定为 1，方便计算余弦相似度。
2. def lookup(words, i):word2vec 式查表函数：只看词本身，完全不看前后文。
3. return static_vec[words[i]]同一个词永远返回同一个向量，与句子无关。
4. fwd = avg_pool(words[:i])模拟前向 LSTM 的输入：只用第 i 个词左侧的上下文。
5. bwd = avg_pool(words[i + 1:])模拟后向 LSTM 的输入：只用第 i 个词右侧的上下文。
6. return np.concatenate([fwd, bwd])把左右两个方向的信息拼成一个向量，类似 ELMo 拼接双向隐藏状态。
7. feats[hash(ch) % 16] += 1.0字符级特征：每个字母投票进哈希桶，未登录词也能得到向量。
8. s_sim = cosine(lookup(sentence_river, i_river), lookup(sentence_money, i_money))静态向量下两个 bank 的相似度。
9. c_sim = cosine(context_embedding(sentence_river, i_river), context_embedding(sentence_money, i_money))上下文向量下两个 bank 的相似度。

常见误区

面试题