词向量类比推理：国王减男人加女人等于王后

可视化演示

词向量语义空间

想象你正在绘制一张魔法地图。每学会一个词，你就把它写成一个坐标写到地图上："苹果"和"香蕉"挤在"水果"集市旁边，"会议"和"日程"都落在"办公室"街区。地图上的坐标看似是一串随机的数字，但它们的相对位置编码了词语之间的亲疏远近。

在计算机眼中，这些坐标就是词向量——每个词对应一个几十到几百维的实数向量。这套做法的底气来自一个著名的观察：语义相似的词，出现在相似上下文里，语言学家把它叫作"分布假说"。比如"国王"附近总出现"王冠""统治"，"王后"附近也常出现"王冠""王室"，所以它们的坐标自然靠拢。

实际操作中，这些向量并不是人手工指定的，而是模型根据大量文本自动"磨"出来的。一个词的初始坐标是随机的，模型反复读句子：看到"国王"和"王冠"经常同框，就把它们的坐标拉近一点；看到"国王"和"洗碗机"从不碰面，就把它们推远一点。经过亿万次调整，一张平整的语言地图就成型了。维度通常取 100 到 300，其实人类无法直接想象高维空间，但数学上，距离、方向、夹角都能算。

于是，语言从一串词变成了一张可以量度的地图。有了坐标，就能做坐标算术——下面我们要玩的"国王−男人+女人"游戏，本质上就是在地图上画箭头。

类比推理原理

再回到魔法地图。你发现"国王"和"男人"之间有一条彩色箭头，方向代表"从男人到国王"的语义变化——男性变成君主；同时，"女人"和"王后"之间也有一条箭头，方向和长度都差不多。"两个箭头平行且等长"，就把两种关系连接了起来。

这就是词向量最著名的性质：语义关系被编码成方向。当两个词对共享同一关系，它们在向量空间中的位移向量也几乎相同。于是我们可以把箭头从"男人"位置拾起，平移到"女人"身上，箭头末端就落在"王后"附近。形式化地写出来，就是文章标题那条公式：

这条公式的意思是：用"国王"坐标减去"男人"坐标，得到"男性→君主"的方向箭头；再把这个箭头加到"女人"坐标上，就能逼近"王后"的坐标。

Word2Vec关系捕获

想象一位新手制图师，他的工作方法很特别：他走进一座小镇，站在某个词上，然后猜测前后左右街坊邻居住着谁。每猜一次就修正一点自己脚下的坐标，这位制图师就是 Word2Vec。

Word2Vec 有两条训练路线。Skip-gram 用中心词预测周围的上下文词；CBOW 反其道而行之，用上下文词预测中心词。训练时，模型在每个位置滑动窗口，收集"国王旁边出现过王冠"这样的样本，然后反复调整向量，让共现的词对得分更高。它的核心概率模型是一个 softmax：

这个公式在回答一个问题：给定中心词 $w_I$，它周围出现某个上下文词 $w_O$ 的概率有多大？点积越大，说明两个词向量越"合拍"。

GloVe关系捕获

另一位制图师 GloVe 则是"编年史学家"。他不走街串巷，而是搬来一摞厚厚的统计年鉴，上面记录着所有词对在整座城市中一起出现的次数。他打算从这张全局共现表里，反推出地图上每个词的坐标。

GloVe 的目标很直接：让两个词向量的点积，约等于它们共现次数的对数。为什么取对数？因为真实文本里词对出现次数跨几个数量级，取对数才平滑。共现越多，两个词应当离得越近；同时，它还引入了一个巧妙的观察——共现概率的比值能更好地编码"关系方向"。训练时最小化加权平方误差：

其中 $X_{ij}$ 是词 $j$ 出现在词 $i$ 上下文中的次数，$f$ 是给不同频次词对加权的函数。模型要让"点积+偏差"去拟合"共现次数取对数"。

语义推理实现

现在地图有了，怎么"用"呢？就好像你站在"国王"地铁站想找"王后"站：先看一眼地图上"男人"→"国王"的箭头方向，然后把这个方向套在"女人"站上，再找终点站的名字。

工程上实现类比推理分三步：查坐标、算位移、找最近邻。首先取回国王、男人、女人三个词的向量；其次计算目标向量 $\vec{t}=\vec{v}_{国王}-\vec{v}_{男人}+\vec{v}_{女人}$；最后在整个词表里搜索与 $\vec{t}$ 最近的向量，排除输入词本身后，排第一的往往是"王后"。

度量"最近"最常用的是余弦相似度：两个向量方向越一致，值越接近 1。

余弦相似度只看方向、不看长度，相当于只比较两个箭头的朝向是否一致，非常适合语义比较。

评估方法指标

地图画得好不好，不能光看热闹。要验收一张语言地图，常见的办法就是出考卷：考"类比推理题"。比如"国王 对 王后，就像 男人 对 ____？"正确答案是"女人"。

所谓类比数据集，就是收集成千上万道这样的四段式题。题目分两大类：语义类比（国家-首都、城市-所在州）和句法类比（动词时态、形容词比较级）。模型每次做一次向量运算，从词表里找最近邻，答对了就记一分。最核心的报告指标是准确率：

准确率就是所有类比题中答对的比例。它直观地告诉我们：这张地图上的箭头到底有多靠谱。

类比局限性

再好的地图也有盲区。比如"bank"这座城市有两个市中心：一个在河岸，一个是银行。制图师很为难——一个坐标点只能站一个位置，到底放哪里？这就是多义词给词向量出的难题。

多义词是头号软肋：每个词只有一个向量，模型不得不把多个含义"平均"进同一个坐标，推理时方向就被冲淡了。第二号问题是频率偏差：低频词在语料里露脸太少，坐标学得摇摇晃晃，类比自然不稳定。还有一类更严重的问题——地图会复刻现实里的偏见：如果"护士"总在"女性"附近出现，模型做"医生→男人，护士→?"就可能答出"女人"。这不是逻辑推理，而是语料的统计惯性。

此外，并非所有关系都是可平移的箭头。"迟到"到"早退"这种反义关系、"喜欢"到"被喜欢"这种主被动关系，都很难用简单的向量加减表示。研究者后来发现，只有一部分词法关系和语义关系能稳定地编码成线性方向。

所以"国王−男人+女人=王后"只是语言地图上一条最整齐的航线，不是全部版图。用词向量做下游任务时，要时刻记得：地图有老城区、有盲点、也有被歪曲的比例尺。

AI 应用场景

Python 演示

import numpy as np  class AnalogySolver:    def init(self, vectors, words):        self.vectors = np.array(vectors, dtype=float)        self.words = words        self.index = {w: i for i, w in enumerate(words)}        self.norm_vecs = self.vectors / np.linalg.norm(self.vectors, axis=1, keepdims=True)     def query(self, a, b, c, topk=5):        if a not in self.index or b not in self.index or c not in self.index:            return []        va = self.vectors[self.index[a]]        vb = self.vectors[self.index[b]]        vc = self.vectors[self.index[c]]        target = vb - va + vc        target = target / (np.linalg.norm(target) + 1e-8)        scores = self.norm_vecs @ target        excludes = {a, b, c}        top_indices = np.argsort(scores)[::-1]        results = []        for idx in top_indices:            w = self.words[idx]            if w in excludes:                continue            results.append((w, round(float(scores[idx]), 3)))            if len(results) == topk:                break        return results  def main():    # 手工构造的二维词向量，仅用于演示    words = [“国王”, “男人”, “女人”, “王后”, “王子”]    vecs = [        [3.0, 3.0],        [4.0, 1.0],        [1.0, 1.0],        [0.0, 3.0],        [0.5, 4.0],    ]    solver = AnalogySolver(vecs, words)    ans = solver.query(“国王”, “男人”, “女人”, topk=3)    print(“国王 - 男人 + 女人 =>”, ans)  if name == "main":    main()

常见误区

面试题