GloVe词向量：全局矩阵分解

可视化演示

展示GloVe词向量的核心原理：全局共现矩阵构建、加权最小二乘优化目标函数、以及与Word2Vec的训练范式对比和应用场景。

共现矩阵构建：全镇聚会签到簿

侦探小林把档案馆的聚会签到簿全部抱回办公室。他定下规则：只看前后相隔不超过两位签名的名字，就算“同框一次”。于是“钢琴师小王”和“调音师小李”的名字在 40 多页上同时出现，而“小王”和“面包师老周”只同框过 2 次。小林把这些数字填进一张巨大的二维表格——这就是“共现矩阵”的雏形。

在自然语言处理中，语料库就是那摞签到簿。选定窗口大小（比如中心词前后各 5 个词），将窗口内的每个词对（中心词 i，上下文词 j）计数一次，遍历全部语料后得到全局词共现矩阵 X。矩阵元素 X_ij 越大，说明这两个词在相似语境里“同框”越频繁。

窗口大小的选择直接影响统计质量。窗口太小，只能看到紧邻的固定搭配；窗口太大，会混入大量无关共现。构建时通常只保留非零元素并以稀疏格式存储，因为绝大多数词对从未在窗口中相遇。

$$X_{ij} = \sum_{k=1}^{N} \mathbb{1}\{ \text{词 } j \in \text{context}(\text{词 } i, \text{第 } k \text{ 个窗口}) \}$$

1. 窗口定义：context（词 i, 第 k 个窗口） 表示第 k 次以词 i 为中心词时，其前后各 w 个词构成的集合，w 就是窗口超参数。

$$\text{context}(i, k) = \{ \text{词}_{k-w}, \dots, \text{词}_{k-1}, \text{词}_{k+1}, \dots, \text{词}_{k+w} \}$$

2. 指示函数：\(\mathbb{1}\{\cdot\}\) 在花括号内条件成立时取 1，否则取 0，这里表示“词 j 是否真的出现在窗口里”。

$$\mathbb{1}\{ \text{词 } j \in \text{context} \} = \begin{cases} 1 & \text{词 } j \text{ 在上下文中} \\ 0 & \text{否则} \end{cases}$$

3. 全局求和：对所有 N 个窗口位置累加，把细碎的共现事件汇总成全局统计量，这就是“全局”二字的由来。

$$\sum_{k=1}^{N} \mathbb{1}\{\cdot\} = \text{词 } j \text{ 在词 } i \text{ 全部上下文中的出现总次数}$$

窗叠加得越多，历史越久，签到簿就越能反映稳定的社交模式。同样，语料规模越大，X 矩阵的统计就越可靠——这是 GloVe 一切优势的地基。

核心原理：从签到簿反推性格坐标

小林盯着矩阵发呆：光知道谁和谁同框多少次还不够，他想知道每个人在“文艺—务实”“内向—外向”坐标轴上的位置。关键启发来自一个对比：小李在音乐厅聚会中同框的对象，和他在菜市场闲聊同框的对象，重合度很低。小林意识到，真正区分小李性格的，不是他和谁见过面，而是“相比另一个人，他更常和哪一类人出现”——也就是共现概率的比率。

GloVe 论文正是从这个思想出发：设 P_ik = X_ik / X_i 为词 k 出现在词 i 上下文中的概率，那么比率 P_ik / P_jk 能过滤掉单个词自身活跃度的干扰。词向量要编码的是：当这个比率远大于 1 时，说明词 k 能把词 i 与词 j 区分开。经过代数推导，这个比率可以写成两个向量差与第三个向量的内积：

$$\log \frac{P_{ik}}{P_{jk}} = (w_i - w_j)^{\mathsf{T}} \tilde{w}_k$$

1. 共现概率：把词 i 与词 k 的共现次数除以词 i 的总共现频次，得到条件概率 P_ik。

$$P_{ik} = \frac{X_{ik}}{X_i}, \quad X_i = \sum_{k} X_{ik}$$

2. 概率比率：取 P_ik 与 P_jk 的比值，消去词 k 自身“爱不爱出现”的影响，留下的纯粹是词 i 与词 j 的差异。

$$\frac{P_{ik}}{P_{jk}} > 1 \iff \text{词 } k \text{ 与词 } i \text{ 更亲近}$$

3. 向量差：等式左边是标量比率，右边是向量差在词 k 方向上的投影。这说明“词 i 与词 j 的关系”被编码成了向量差本身——这正是词类比能成立的结构基础。

$$(w_i - w_j)^{\mathsf{T}} \tilde{w}_k = \text{投影后的标量，与左边对数比率对齐}$$

公式揭示了 GloVe 的核心信念：语义关系不是藏在单个词的坐标里，而是藏在坐标之差里。这就像侦探发现“小王—小李”的坐标差和小李在音乐圈的偏好有关，这个差本身才是可复用的“性格规律”。

损失函数：为偏差配一把标尺

有了目标关系，小林面临新麻烦：签到簿有大量噪声——有人只是顺路参加聚会，有人被朋友硬拉来。如果每一条记录都同等置信，几个巧合就会把坐标带偏。小林的经验是：重复出现的模式更可信，偶发事件少信一点。这就是“加权”的直觉。

GloVe 把问题定义为一个加权最小二乘问题。对每一对词 (i, j)，用“中心词向量与上下文词向量的内积 + 两个偏置”来预测 log X_ij，预测值与真实值的残差平方乘以权重 f(X_ij)，最后对所有词对求和。偏置项 b_i 的作用相当于回归中的截距，吸收单个词自身频次高低带来的偏移。

$$J = \sum_{i,j=1}^{V} f(X_{ij}) \left( w_i^{\mathsf{T}} \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij} \right)^2$$

1. 求和范围：V 是词表大小，理论上遍历所有 V² 个词对，但 f(0)=0 让未共现的词对自然不贡献损失。

$$\sum_{i,j=1}^{V} \quad \Rightarrow \quad \text{只需遍历 } X_{ij} > 0 \text{ 的稀疏集合}$$

2. 加权函数：f(X_ij) 控制每个词对在损失中的话语权，对高频但信息量低的词对做压制，其具体形态在“工程实践”一节展开。

$$f(X_{ij}) \in [0, 1], \quad f(0) = 0$$

3. 预测项：w_i 与 w~_j 的内积是模型对词对关联强度的预测，偏置 b_i 与 b~_j 分别吸收中心词与上下文词的频次效应。

$$w_i^{\mathsf{T}} \tilde{w}_j + b_i + \tilde{b}_j = \text{预测的对数共现频率}$$

4. 对数目标：原始共现次数跨越多个数量级（“的”可能出现百万次，专业词可能只出现几次），取对数把几十倍的差异压缩成几倍的差异，再求平方误差更加平稳。

$$\log X_{ij} = \text{真实的对数共现频率}$$

这把“标尺”让 GloVe 不必像神经网络那样逐条消化样本，而是直接对全局统计做拟合。侦探最终的目标也不是复述每一张签到页，而是用“坐标 + 偏置”这套简洁参数解释绝大多数签名规律。

训练流程：坐标的迭代打磨

小林先在墙上随机钉了几个坐标点，然后翻开签到簿逐条对照：如果某条关系预测高了，就往下调一点；预测低了，就往上抬一点。反复几十轮之后，坐标点渐渐稳定下来，不再大幅晃动——这就是梯度下降的物理直觉。

GloVe 采用随机梯度下降（SGD）。每轮随机抽出一个非零词对，计算损失对两个词向量和偏置的梯度，沿梯度反方向微调。实际实现中常使用 AdaGrad 自适应调整学习率，让高频词对收敛更稳、低频词对也能被顾及。训练结束后，通常把 w_i 与 w~_i 的平均向量作为词的最终表示。

$$w_i \leftarrow w_i - \eta \cdot 2 f(X_{ij}) \left( w_i^{\mathsf{T}} \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij} \right) \tilde{w}_j$$

1. 更新方向：损失函数对 w_i 求梯度后，沿负梯度方向移动，箭头 ← 表示“把旧值替换成新值”。

$$w_i \leftarrow w_i - \eta \cdot \nabla_{w_i} J$$

2. 学习率：η 控制每一步移动的步长，太大导致震荡，太小则训练缓慢。

$$\eta = \text{学习率，经验上常取 } 0.05 \sim 0.1$$

3. 残差驱动：括号内是“预测值 — 真实对数频次”，残差越大，调整力度越大，这是最小二乘家族的共同性格。

$$\left( w_i^{\mathsf{T}} \tilde{w}_j + b_i + \tilde{b}_j - \log X_{ij} \right) = \text{当前的拟合残差}$$

4. 只更新非零词对：f(X_ij) 让未共现词对的梯度为 0，训练只在稀疏的非零元素上进行，因此计算量远小于 V²。

$$f(X_{ij}) = 0 \quad \Rightarrow \quad \text{该词对本轮不产生任何更新}$$

经过几百轮迭代，墙上的坐标点从杂乱无章变得错落有致。小林知道，当损失曲线趋于平缓、每个点的相邻轮次挪动幅度小于阈值时，这张“性格地图”就可以交付了。

对比Word2Vec：全局普查vs邻里走访

小林把两种调查方式摆在一起：Word2Vec 像挨家挨户敲邻居的门，效率高、随问随走，但每个居民的视野被门前的街道限制；GloVe 像调取全镇签到簿做系统性的普查，前期统计功夫花得多，但得到的是全局视角。两种方法都能画地图，但底层的“情报来源”完全不同。

Word2Vec 用滑动窗口生成海量训练样本，再用浅层神经网络（负采样或分层 softmax）在线更新词向量；它每次只见到一个局部窗口，属于“流式学习”。GloVe 则先一次性构建共现矩阵，再对矩阵做加权最小二乘分解，属于“批量式优化”。从复杂度看，两者实际处于同一量级：

$$T_{\text{GloVe}} = O(|X|_0), \qquad T_{\text{Word2Vec}} = O(|C| \cdot w)$$

1. GloVe 复杂度：|X|_0 表示共现矩阵中非零元素的个数，训练只在这些元素上进行，通常远小于 V²。

$$|X|_0 = \text{非零词对数，稀疏矩阵的实际规模}$$

2. Word2Vec 复杂度：|C| 是语料总词数，w 是窗口大小，每个词要与其上下文中的 2w 个词组成样本。

$$|C| \cdot w = \text{训练样本总数，随语料线性增长}$$

3. 量级对比：两者都近似为“语料规模 × 窗口”的复杂度，但 GloVe 的统计矩阵可以被反复复用，训练不同维度或不同超参的向量时不必重新扫描语料。

$$O(|X|_0) \approx O(|C| \cdot w)$$

从语义捕获的差异看，Word2Vec 对局部句法模式（如动词搭配）更敏感，而 GloVe 因为见过全量统计，在语义相似、词类比这类“全局规律”上往往更稳。侦探小林总结：走访适合快速摸底，普查适合建立长期可靠的关系档案——两者互补，而非简单的替代关系。

性能应用：坐标的用武之地

性格地图画好之后，小林的业务能力立刻提升：有人问“谁的气质和面包师老周最像？”，他直接比坐标距离；有人问“'小王—小李'的关系像哪对熟人？”，他就观察向量差的方向。小镇居民的坐标不仅能描述个体，还能编码人与人的关系——这正是词向量的价值所在。

GloVe 词向量的经典评估任务有两类。第一类是词类比：给定“男：王 = 女：?”，正确的词向量满足 w（王） − w（男） + w（女） ≈ w（后）。第二类是词相似度：计算两个单词向量的余弦相似度，并与人工评分对比。此外，GloVe 向量作为预训练特征，可以显著提升命名实体识别（NER）、文本分类等下游任务的效果。

$$\cos(w_a, w_b) = \frac{w_a^{\mathsf{T}} w_b}{\lVert w_a \rVert_2 \lVert w_b \rVert_2}$$

1. 分子内积：两个向量的内积衡量它们的共线程度，内积越大方向越一致。

$$w_a^{\mathsf{T}} w_b = \sum_{d=1}^{D} w_{a,d} \, w_{b,d}$$

2. 分母归一化：除以两个向量的 L2 范数，消除向量的绝对长度影响，只看方向——因为词向量训练后长度多与词频相关，不是语义的一部分。

$$\lVert w_a \rVert_2 = \sqrt{\sum_{d=1}^{D} w_{a,d}^2}$$

3. 值域解读：余弦值越接近 1 表示语义越相似，接近 0 表示无关，接近 −1 表示语义相反。

$$\cos(\cdot) \in [-1, 1]$$

在词类比评测中，给模型出题“王 − 男 + 女 = ?”，就是算余弦相似度取最大值对应的词。小林发现，当词向量质量高时，答案恰好落在“后”的位置上。坐标不仅描述人，还能回答“谁与谁的关系平行”这种高阶问题。

工程实践：选型与落地权衡

小林把方法整理成工作手册，特别标注了“设备要求”和“适用场景”。GloVe 在工程上最大的优点是统计一次、反复使用：共现矩阵构建完成后，训练不同维度的向量不必重读语料。Gensim 提供了开箱即用的 GloVe 兼容接口，加载预训练文件只需一行代码。

超参选择对效果影响显著：窗口大小通常取 5–15，过小则只见局部搭配，过大则引入噪声；向量维度一般取 50–300，维度越高承载信息越多但内存开销越大。x_max 默认 100，α 默认 0.75。加权函数的具体形态是：

$$f(x) = \begin{cases} (x / x_{\max})^{\alpha} & x < x_{\max} \\ 1 & x \geq x_{\max} \end{cases}$$

1. 分段定义：当共现次数 x 低于阈值 x_max 时，权重按幂函数衰减；当 x 超过阈值时，权重饱和为 1，防止超高频繁词对无限制主导。

$$x < x_{\max}: f(x) = \left( \frac{x}{x_{\max}} \right)^{\alpha}$$

2. α 的经验值：论文取 α = 0.75，实验表明这个幂次能在低频与高频之间取得较好平衡；α 偏大会过度压制中频词对。

$$\alpha = 0.75 \quad \Rightarrow \quad \text{权重随 x 缓慢上升}$$

3. 零频保护：当 x = 0 时 f(0) = 0，未共现词对完全不参与训练，这是稀疏高效的关键。

$$f(0) = 0 \quad \Rightarrow \quad \text{仅遍历非零元素}$$

工程上还需权衡：GloVe 的内存占用集中在共现矩阵本身，超大语料下需要分布式统计；新词无法增量更新，必须重新训练或额外训练映射。侦探手册最后一行写着：没有万能工具，全局普查适合语料稳定、追求语义质量的场景；若数据流式增长、要求快速迭代，则 Word2Vec 的在线更新更从容。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""简化版 GloVe：手动实现共现矩阵构建与加权最小二乘训练"""import numpy as npfrom collections import defaultdict corpus = [    "猫 喜欢 鱼",    "狗 喜欢 骨头",    "猫 和 狗 都 是 宠物",    "鱼 在 水里 游",    "宠物 需要 主人 照顾",] def build_cooccur(corpus, window=2):    """构建词共现矩阵：滑动窗口内共同出现词对计数"""    vocab = set()    for line in corpus:        for w in line.split():            vocab.add(w)    vocab = sorted(vocab)    idx = {w: i for i, w in enumerate(vocab)}    n = len(vocab)    counter = defaultdict(float)    for line in corpus:        tokens = line.split()        for i, w in enumerate(tokens):            for j in range(max(0, i - window), min(len(tokens), i + window + 1)):                if i != j:                    counter[(idx[w], idx[tokens[j]])] += 1.0    co_mat = np.zeros((n, n))    for (i, j), v in counter.items():        co_mat[i, j] = v    return vocab, co_mat class SimpleGlove:    """加权最小二乘矩阵分解实现"""     def __init__(self, vocab_size, embed_dim=8, x_max=100.0, alpha=0.75):        self.vocab_size = vocab_size        self.embed_dim = embed_dim        self.x_max = x_max        self.alpha = alpha        np.random.seed(0)        self.W = np.random.randn(vocab_size, embed_dim) * 0.01        self.b = np.zeros((vocab_size, 1))     def weight(self, x):        """加权函数：压制高频词对，忽略零频词对"""        return np.where(x < self.x_max, (x / self.x_max) ** self.alpha, 1.0)     def train(self, co_mat, epochs=200, lr=0.05):        log_co = np.log(co_mat + 1e-8)        mask = (co_mat > 0).astype(np.float64)        w_arr = self.weight(co_mat) * mask        for epoch in range(epochs):            pred = self.W @ self.W.T + self.b + self.b.T            diff = pred - log_co            loss = np.sum(w_arr * diff ** 2) / np.maximum(np.sum(w_arr), 1.0)            grad_mat = 2.0 * w_arr * diff            grad_w = grad_mat @ self.W + grad_mat.T @ self.W            grad_b = np.sum(grad_mat + grad_mat.T, axis=1, keepdims=True)            self.W -= lr * grad_w / self.vocab_size            self.b -= lr * grad_b / self.vocab_size            if epoch % 50 == 0:                print("epoch %d, loss=%.4f" % (epoch, loss))     def most_similar(self, word, vocab, top_k=3):        i = vocab.index(word)        vec = self.W[i]        sims = []        for j, w in enumerate(vocab):            if j != i:                s = vec @ self.W[j] / (np.linalg.norm(vec) * np.linalg.norm(self.W[j]) + 1e-8)                sims.append((w, s))        sims.sort(key=lambda x: x[1], reverse=True)        return sims[:top_k] if __name__ == "__main__":    vocab, co_mat = build_cooccur(corpus, window=2)    print("词表:", vocab)    model = SimpleGlove(vocab_size=len(vocab), embed_dim=8)    model.train(co_mat, epochs=200, lr=0.05)    print("most similar to 宠物:", model.most_similar("宠物", vocab))

1. counter[(idx[w], idx[tokens[j]])] += 1.0这就是小镇签到簿的核心动作：窗口内每出现一次词对，就记一笔共现账。
2. np.where(x < self.x_max, (x / self.x_max) ** self.alpha, 1.0)加权函数的分段实现，x_max 与 alpha 分别对应文章中的阈值与幂次。
3. log_co = np.log(co_mat + 1e-8)取对数时加极小值防止 log(0)，对应损失函数中的对数目标。
4. grad_w = grad_mat @ self.W + grad_mat.T @ self.W因为 W 同时扮演中心词与上下文词两个角色，梯度必须对两个方向的贡献求和。
5. grad_b = np.sum(grad_mat + grad_mat.T, axis=1, keepdims=True)偏置同样出现在两个角色中，按行求和得到每个词偏置的梯度。
6. pred = self.W @ self.W.T + self.b + self.b.T内积与偏置的和，正是损失函数中的预测项；列向量 b 与行向量 b.T 相加会自动广播。
7. model.most_similar("宠物", vocab)用余弦相似度查最近邻，模拟“性格地图上谁和谁靠得近”。

常见误区

面试题