GloVe全局向量：共现矩阵词嵌入

可视化演示

展示GloVe全局向量的核心原理：共现矩阵模式下可视化词对共现频次的热力图，向量空间模式下展示词向量在2D空间的分布与类比推理关系。

共现矩阵构建

回到那个邻里街角。你手里拿着一个记录本，每当你看到“老王”和“老李”在同一个场合出现，就在本子上的对应位置划一道。几天下来，本子上就写满了密密麻麻的计数。这个计数表，就是自然语言处理中的共现矩阵（Co-occurrence Matrix）。在GloVe中，这个“场合”就是一个固定大小的窗口——比如取前后各5个词。你不再关注整篇文档，而是看一个词周围的小范围内，其他词出现了多少次。

具体来说，设语料库中共有 \( V \) 个不同的词（就像社区里有 \( V \) 位居民），共现矩阵 \( X \) 是一个 \( V \times V \) 的方阵。\( X_{ij} \) 表示词 \( j \) 在词 \( i \) 的上下文中出现的总次数。GloVe最关键的设计是：这里的窗口是对称的——即“我”出现在“邻居”的窗口中，和“邻居”出现在“我”的窗口中，被视作同一次共现，计数相同。这样 \( X_{ij} = X_{ji} \)，矩阵保持对称，就像邻里关系永远是相互的。

实际构建时，矩阵非常稀疏——大多数词对从未一起出现过。就像你不会在记录本上为“水管工老张”和“幼儿园老师小李”的每个组合都计数一样，大部分格子是0。这个稀疏矩阵就是GloVe的全部输入，接下来要做的，就是从这个庞大的计数表中提炼出精华。

加权最小二乘

现在记录本上的数据有了，可怎么把它变成每个人的“性格坐标”呢？GloVe的创始人想出一个巧妙的办法：为每个词 \( i \) 学习两个向量——一个是它作为中心词时的向量 \( w_i \)，一个是它作为上下文词时的向量 \( \tilde{w}_j \)。理想情况下，这两个向量的点积应该能预测出共现次数的对数：

这里 \( b_i \) 和 \( \tilde{b}_j \) 是偏置项，用来吸收单个词本身出现频率高低的影响。为什么要取对数？因为共现次数跨越好几个数量级——“的”和“了”这样的高频词可能共现百万次，而大多数词对只出现几次。取对数就像用地震震级而非地震能量来描述地震，把巨大的数值差异压缩到可操作的范围内。

但这里有个问题：如果对所有词对一视同仁地做回归，“的”“了”“在”这些超高频虚词会主导整个损失函数，就像社区里最爱社交的那几个“社牛”会垄断你的全部注意力。解决办法是引入权重函数 \( f(X_{ij}) \)：

权重函数 \( f(x) \) 满足三个性质：\( f(0) = 0 \)（没共现过的不参与训练）；随 \( x \) 递增（共现越多的词对越重要）；当 \( x \) 很大时封顶（避免高频词过度主导）。论文中推荐的权重函数为 \( f(x) = \min(1, (x / x_{\text{max}})^{3/4}) \)，通常取 \( x_{\text{max}} = 100 \)。

这就好比，你观察邻里关系时，对“家家户户都有的日常寒暄”适当降低关注度，而对“特定人群之间的特别往来”多加留意，才能画出真正有区分度的社交地图。

训练与调优

拥有了损失函数，接下来就是老生常谈的优化环节——用随机梯度下降（SGD）来最小化 \( J \)。想象你在山坡上滚一个球，每次只看一小片地形（一个 batch 的词对）来决定往哪个方向滚一点，而不是等看完整个山坡才动一次。因为共现矩阵太庞大了，有几百万行几百万列，但只有不到 1% 的格子非零，所以每次随机抽取那些非零的词对来更新即可。

训练中有几个关键的超参数需要调优。学习率（通常初始为 0.05）控制每次更新的步幅：太大容易跳过最优解，像球滚得太快直接越过山谷；太小则收敛慢，像蜗牛爬坡要跑几百轮。向量维度一般选 100-300 维——这相当于你决定用多少个维度来描述每个邻居的性格，太少难以区分微妙差异，太多则引入噪声且计算昂贵。迭代次数通常 50-100 轮，每轮（epoch）遍历所有非零词对一次。一个实用的技巧是学习率衰减：随着训练进行，逐步减小步幅，让参数在最优解附近精细调整。

训练完成后，每个词会得到两个向量 \( w_i \) 和 \( \tilde{w}_i \)，通常取它们的和作为最终的词向量，因为对称窗口下两者地位对等，相加可以综合利用两套参数的信息。最终得到的向量，就是每个词在语义空间中的“住址坐标”。

词向量评估

训练出词向量后，怎么知道画出来的这张“社交地图”准不准？GloVe 的评估主要靠三类任务。

词类比（Word Analogy）是最直观的测试：给模型出“国王：男人 = 女王：?”，正确答案是“女人”。用向量运算来实现就是找词 \( d \) 使得 \( \text{vec}(国王) - \text{vec}（男人） + \text{vec}（女王） \) 与 \( \text{vec}(d) \) 的余弦相似度最高。这个测试能直接检验向量是否编码了语义关系——就像确认“老王与老李的关系”和“老张与老赵的关系”是否平行。

词聚类任务把语义相近的词归到一起，比如“苹果”“香蕉”“橙子”应该聚成一簇，“汽车”“卡车”“公交车”形成另一簇。通过聚类纯度（purity）或调整兰德指数（ARI）来量化好坏。

语义相似度评估则准备一组人工打分过的词对（如“快乐-高兴”打高分，“快乐-桌子”打低分），计算模型给出的余弦相似度与人类打分的相关性。相关系数越高，说明向量空间与人类语义直觉越吻合。

这些评估任务就像检验你画的社区地图是否准确的三个标准：平行街道是否真的平行、居民分组是否合理、地图上的距离是否反映真实交往的亲密程度。GloVe 在词类比任务上尤其出色，因为它的共现矩阵天然编码了词与词之间的比值关系（ratio），这正是类比关系的基础。

全局统计优势

为什么放着现成的 Word2Vec 不用，偏要折腾共现矩阵？核心优势在于：GloVe 看到了整个城市，而 Word2Vec 只看到窗口内的几家邻居。

Word2Vec 的 skip-gram 训练时每次只看一个局部窗口，本质上是在做“根据中心词预测周围词”的局部分类任务。虽然在小规模语料上也能学到不错的向量，但它对全局统计信息的利用率较低——每个词对的共现次数本质上是被逐个样本“喂”进去的，同样的信息要重复学很多遍。而 GloVe 一次性统计好整个语料的共现矩阵，再基于这个全局统计做加权回归，相当于直接把“人口普查结果”摆到桌面上。

这个设计带来两个直接好处：

• 训练效率更高：GloVe 只需在非零的共现对上进行迭代，每个词对往往只被访问有限次就能收敛，而 Word2Vec 需要对语料中的每个 token 进行多次采样训练。在同等语料上，GloVe 的训练速度可以快 5-10 倍。

• 小语料上效果更好：在词频统计层面，GloVe 天然对罕见词更友好——只要某两个罕见词恰好共现了几次，这个信息就会进入共现矩阵并被加权利用；而 Word2Vec 的训练受限于采样概率，罕见词的共现信息容易被丢弃。

就像一位洞察全局的社区规划师，GloVe 基于完整的人口流动数据做决策，比只了解自家附近的街坊看得更远、决策更准。

并行训练策略

当语料规模达到几十亿 token 时，共现矩阵动辄包含数十亿个非零元素，单机训练变得不现实。GloVe 的官方实现采用多线程数据并行策略：将共现矩阵按行切分成多块，每个线程独立负责一部分行的词向量更新。但由于向量需要互相影响（词 \( i \) 的更新要用到 \( \tilde{w}_j \)），直接并行会导致写冲突。

解决办法是梯度聚合：每个线程先在本地累积自己负责的参数的梯度，每隔一段时间同步一次，将梯度合并后统一更新所有参数。这就像社区分成几个片区，每个片区的统计员先独立整理各自的记录，然后定期把笔记交到居委会汇总，统一更新全社区的档案。这种“局部计算+定期同步”的模式，让 GloVe 能轻松扩展到百亿规模语料。

另一个并行维度是负采样与过滤：在构建共现矩阵之前，先过滤掉出现次数过少的词（比如少于 5 次），这能把词汇表缩小一个量级，减少矩阵的稀疏度和内存占用。同时，对高频词设置最大共现计数（\( x_{\text{max}} = 100 \)），超过部分按原始次数处理而非归一化，避免极端高频词对拖慢训练。

应用最佳实践

训练好或下载到预训练的 GloVe 向量后，如何在真实 NLP 任务中使用？

预训练加载是最常见的做法。官方提供的 6B/42B/840B token 版本分别对应 60 亿到 840 亿 token 的维基百科、Common Crawl 等语料，向量维度有 50/100/200/300 可选。加载时用 gensim 或 numpy 直接读入，构建词到向量的映射表。

下游微调时，可以把 GloVe 向量作为嵌入层的初始值。如果是分类等小任务，冻结嵌入层不更新；如果是翻译、生成等大任务，让嵌入层参与训练微调，以适配特定领域的语义偏移。一个经验法则是：小数据集冻结、大数据集微调。

未登录词（OOV）处理是工程中必须面对的难题。最常见的策略是：对未知词统一映射到一个 <unk> 向量（取所有词向量的均值或零向量）；更进阶的做法是从子词中拆分——把未登录词分成前缀、词根、后缀等片段，用片段向量的组合近似该词的向量。这就像社区里来了个新搬来的住户，你虽然还没见过他，但可以从他开的车、穿的衣服风格大致猜出他的社交圈层。

AI 应用场景

Python 演示

"""GloVe 核心思想演示：1. 构建共现矩阵（对称窗口）2. 实现加权最小二乘损失函数3. 用梯度下降训练词向量"""import numpy as npfrom collections import Counter  def build_cooccurrence(corpus, window_size=2):    """构建对称共现矩阵"""    vocab = set()    for sent in corpus:        vocab.update(sent)    word2id = {w: i for i, w in enumerate(vocab)}    V = len(vocab)    co_matrix = np.zeros((V, V), dtype=np.float32)     for sent in corpus:        n = len(sent)        for i, word in enumerate(sent):            wid = word2id[word]            start = max(0, i - window_size)            end = min(n, i + window_size + 1)            for j in range(start, end):                if j == i:                    continue                cid = word2id[sent[j]]                co_matrix[wid][cid] += 1.0                co_matrix[cid][wid] += 1.0  # 对称    return co_matrix, word2id  def weight_func(x, xmax=100.0, alpha=0.75):    """GloVe 权重函数：低频线性增长，高频截断"""    return np.minimum(1.0, (x / xmax) ** alpha)  def train_glove(co_matrix, dim=10, epochs=50, lr=0.05):    """加权最小二乘训练"""    V = co_matrix.shape[0]    rng = np.random.default_rng(42)    W = rng.normal(0, 0.01, (V, dim))      # 中心词向量    W_tilde = rng.normal(0, 0.01, (V, dim))  # 上下文词向量    b = np.zeros(V)    b_tilde = np.zeros(V)     rows, cols = np.nonzero(co_matrix)    log_X = np.log(co_matrix[rows, cols] + 1.0)    f = weight_func(co_matrix[rows, cols])     n_samples = len(rows)    for epoch in range(epochs):        idx = rng.permutation(n_samples)        for k in idx:            i, j, x_ij = rows[k], cols[k], log_X[k]            w_ij = f[k]            diff = np.dot(W[i], W_tilde[j]) + b[i] + b_tilde[j] - x_ij            grad_w = w_ij * diff * W_tilde[j]            grad_wt = w_ij * diff * W[i]            W[i] -= lr * grad_w            W_tilde[j] -= lr * grad_wt            b[i] -= lr * w_ij * diff            b_tilde[j] -= lr * w_ij * diff    return W + W_tilde  if __name__ == "__main__":    corpus = [        ["the", "cat", "sat", "on", "the", "mat"],        ["the", "dog", "sat", "on", "the", "rug"],        ["cat", "and", "dog", "are", "friends"],        ["i", "love", "my", "cat"],        ["my", "dog", "is", "cute"],    ]    co_matrix, word2id = build_cooccurrence(corpus)    vectors = train_glove(co_matrix, dim=5, epochs=100, lr=0.05)     w1 = vectors[word2id["cat"]]    w2 = vectors[word2id["dog"]]    w3 = vectors[word2id["mat"]]    def cos_sim(a, b):        return np.dot(a, b) / (np.linalg.norm(a) * np.linalg.norm(b))     print("词表:", list(word2id.keys()))    print("cat-dog 相似度:", round(cos_sim(w1, w2), 4))    print("cat-mat 相似度:", round(cos_sim(w1, w3), 4))    print("训练完成，共", len(word2id), "个词的向量已生成")

1. co_matrix[wid][cid] += 1.0` 与 `co_matrix[cid][wid] += 1.0对称窗口的核心：双向计数，保证矩阵对称。
2. np.minimum(1.0, (x / xmax) ** alpha)实现权重函数，低频共现对线性加权，高频封顶避免主导。
3. diff = np.dot(W[i], W_tilde[j]) + b[i] + b_tilde[j] - x_ij计算预测值与真实对数共现次数的误差，是梯度下降的起点。
4. W[i] -= lr * grad_w更新中心词向量，沿着负梯度方向移动。
5. W + W_tilde最终向量取两者之和，综合利用中心词与上下文词的表示。

常见误区

面试题