词嵌入偏置与 AI 公平性探讨

可视化演示

展示词向量空间中的性别偏见方向、WEAT关联度测试及线性投影去偏过程，切换模式观察偏见消除效果。

词嵌入基础

在制造“语言之镜”之前，我们要先了解镜子的材质。词嵌入的诞生源于一个朴素的想法：两个词如果经常出现在相似的上下文里，它们的“意思”就趋向于接近。于是，研究者把每个词投射到一个多维空间中，给它一个独一无二的坐标，这些坐标构成的向量就是词向量。它不需要任何人工标注，只需要从亿万文本中自己“学”出来，这就是分布式表示的核心——用一串连续的数值来刻画语义。

让我们把词向量想象成镜子上的一个光点。每个光点在一个巨大的“语义画廊”里有序排列：语义相近的词互相靠近，“咖啡”与“茶杯”只有一步之遥，而“咖啡”与“火箭”则相隔甚远。这种“距离”不是靠尺子量的，而是用数学中的余弦相似度来度量的。夹角越小，两个词在语义方向上越一致，通俗地说，就是“两个人面朝同一个方向走得越近”。

$$\text{sim}(\vec a, \vec b) = \frac{\vec a \cdot \vec b}{\|\vec a\| \, \|\vec b\|}$$

1. 向量的点积：把两个向量每一维的数值对应相乘，再把所有乘积加起来，得到一个标量。它度量了两个向量在方向上“一起走”的程度。

$$\vec a \cdot \vec b = \sum_{i=1}^{n} a_i b_i$$

2. 向量的模长：对向量各个分量的平方求和，再开平方根，得到向量的长度，表示该词在语义空间中距离原点的远近。

$$\|\vec a\| = \sqrt{\sum_{i=1}^n a_i^2}$$

3. 余弦归一化：点积除以两个模长的乘积，等价于把两个向量都缩放成单位长度后再求点积，从而消除词频等长度因素，纯粹比较方向的一致性。

$$\text{sim}(\vec a, \vec b) = \frac{\vec a \cdot \vec b}{\|\vec a\| \, \|\vec b\|}$$

有了这面坐标化的镜子，任意两个词之间的“光路”都变得清晰可测量。著名的“国王-男人+女人=女王”等式正是向量算术的杰作，它说明词向量不仅记录了“谁和谁长得像”，还编码了“男→女”这样的语义平移方向。这为后来发现并治理偏见埋下了伏笔——因为方向一旦存在，就有歪斜的可能。

偏见成因分析

镜子为何会蒙尘？答案不在镜面，而在打磨镜子的原料——训练语料。词嵌入的学习本质上是一种统计提炼：模型打开一扇滑动窗口，观察哪些词总是一起出现。“她”频繁出现在“护士”的窗口里，“他”频繁出现在“工程师”的窗口里，于是这两个词在向量空间中被一次次拉近。性别与职业的关联就这样从语料渗入了向量坐标，形成可测量的偏置成分。

这种关联不是模型故意为之，而是条件概率的必然结果。训练语料来源于人类书写的新闻、小说、网页，它们忠实地记录了社会中存在的性别与种族刻板印象。比如在大型语料中，“护士”附近出现女性代词的频率远高于男性代词；“白”与“聪明”的搭配频率也比“黑”与“聪明”更高。这些统计模式被模型一一吸收，就像镜子把房间里的每一个灰尘颗粒都如实映照出来。

$$P(w_j \mid w_i) = \frac{\text{count}(w_i, w_j)}{\sum_{k} \text{count}(w_i, w_k)}$$

1. 共现次数：统计在指定上下文窗口内词 $w_i$ 与 $w_j$ 同时出现的次数。窗口越大，捕捉的关联越宽泛；窗口越小，捕捉的关联越紧密。

$$\text{count}(w_i, w_j)$$

2. 总计数：把所有与 $w_i$ 共现过的词对次数加总，用来做归一化分母，使概率之和为 1。

$$\sum_{k} \text{count}(w_i, w_k)$$

3. 条件概率：共现次数除以总计数，得到给定 $w_i$ 时 $w_j$ 出现的概率。反复出现的“她→护士”模式会把这两个词的向量逐步拉近，最终在空间中形成固定的方向偏移。

$$P(w_j \mid w_i) = \frac{\text{count}(w_i, w_j)}{\sum_{k} \text{count}(w_i, w_k)}$$

于是，镜面上出现了一道道细微的“水渍”：性别与职业、种族与特质之间的统计关联，被坐标化为空间中的方向偏差。镜面本身并没有主观恶意，它只是把人类的语言习惯如实反射出来——但正是这种“如实”，让偏见从此有了可计算、可量化的形态。

偏见危害表现

如果一面有污点的镜子只躺在阁楼里，最多不过是件蒙尘的旧物。可一旦它被装进望远镜、显微镜和自动驾驶仪的取景器，污点就会扭曲整条视觉链路。词嵌入恰恰是无数 AI 系统的“取景器”——它是简历筛选、新闻推荐、智能客服等下游任务的输入层。偏见从这里出发，会沿着模型链路层层传导、逐步放大。

危害首先体现在“放大”上。词向量中的微小偏置，经过多层神经网络的学习与组合，可能在决策端被显著放大。其次，偏置会侵蚀代表性：一个机械地复刻“护士=女性、程序员=男性”关联的招聘系统，会在简历初筛时就系统性地淘汰“不符合刻板印象”的候选人。推荐系统也可能因为词向量中的性别标签，把“美妆”高频推给女性、把“科技”高频推给男性，进而固化社会角色分工。

在技术层面，我们用一个简化模型理解这件事：假设下游打分模型是线性形式。

$$S(\vec x) = \vec w \cdot \vec x$$

1. 特征向量：把候选人的技能词、经历词映射为词向量后拼接而成的向量 $\vec x$，它是系统看到的“世界”。

$$\vec x = [x_1, x_2, \dots, x_n]$$

2. 权重参数：模型从历史数据中学习的权重 $\vec w$，它决定了哪些维度对最终评分更重要。有偏语料会让“领导力”等词在向量空间中更接近男性词。

$$\vec w = [w_1, w_2, \dots, w_n]$$

3. 线性打分：特征与权重逐维相乘求和，输出标量分数。这个分数直接参与排序、筛选或推荐，微观的偏置在此被转化为宏观结果差异。

$$S = \sum_{i=1}^n w_i x_i$$

镜子的歪斜带来的不只是个别员工的落选，更是系统性的机会剥夺、信息茧房和群体刻板印象的自我实现。当每一面下游镜子都复制着上游的污点，整个社会的公平链条就被悄悄拧弯了。

偏见度量方法

要治理污点，先得能度量污点。研究者提出了一系列“透镜质检”方法，其中最著名的是 WEAT（词嵌入关联检验）。它的思路非常接近日常直觉：给你两组词（比如“花 vs 昆虫”），再给一个目标词（比如“蝴蝶”），你心里会自然判断蝴蝶更接近哪一组。WEAT 把这个直觉数学化了——通过计算余弦相似度，比较目标词与两组属性词的亲和度差异。

若一组属性词与性别词 A 关联，另一组与性别词 B 关联，WEAT 会计算“目标词—属性词”在两对群组间的相似度差值。差值越显著，说明嵌入中携带的关联偏见越强。除了 WEAT，度量体系还包括直接偏差（测量词向量在偏置方向上的投影长度）和间接偏见（通过中间词传播的关联），它们共同构成对镜面污渍的多角度“显微检测”。

$$s(w, A, B) = \frac{1}{|A|} \sum_{a \in A} \cos(\vec w, \vec a) - \frac{1}{|B|} \sum_{b \in B} \cos(\vec w, \vec b)$$

1. 对 A 组的平均相似度：目标词 $w$ 与 $A$ 组每个词的余弦相似度求和后除以集合大小，得到它对 $A$ 的整体亲和度。

$$\frac{1}{|A|} \sum_{a \in A} \cos(\vec w, \vec a)$$

2. 对 B 组的平均相似度：同理计算 $w$ 与 $B$ 组的整体亲和度，作为比较的基线。

$$\frac{1}{|B|} \sum_{b \in B} \cos(\vec w, \vec b)$$

3. 差值统计量：两者相减，得到目标词在两个属性群组之间的偏向程度。将这个差值与随机基线比较，就能评估偏见的统计显著性。

$$\Delta s = s(w, A) - s(w, B)$$

用这把“尺”一量，镜面上的污渍便无处遁形——不同模型、不同语料、不同语言之间的偏见强度都可以横向比较。度量是治理的前提，而 WEAT 建立的这套“标准镜检流程”，正是后续去偏工作最直接的依据。

硬去偏原理

擦镜子的手艺，来自 Bolukbasi 等人在 2016 年提出的 Hard Debiasing（硬去偏）。这套工艺可以总结为三步：先定义“性别定义词对”，再找出“偏置子空间”，最后把中性词上的偏置成分剥离。它像一位细心的匠人，先找到镜面的主裂纹走向，再把裂纹附近的光线矫正回正途。第一步，人工挑选若干性别词对，如（男，女）、（国王，女王）；第二步，对这些词对的差值向量做主成分分析（PCA），第一主成分即偏置方向 $\hat g$。

偏置子空间识别完成后，对每一个被认为是“中性词”的向量（如“程序员”），计算它在 $\hat g$ 上的投影并从原向量中减去，这个操作称为中和（Neutralize）。

$$\vec v_{\text{neu}} = \vec v - (\vec v \cdot \hat g) \hat g$$

除了中和中性词，还要对性别词对本身做“均衡化”（Equalize），让“男/女”“他/她”这类词与所有中性词保持等距——避免某个性别词仍然更贴近特定职业。

$$\vec w_{\text{eq}} = \mu + \sqrt{1 - \|\mu\|^2} \, \frac{\vec w - \mu}{\|\vec w - \mu\|}$$

1. 投影计算：$\vec v \cdot \hat g$ 得到 $\vec v$ 在单位方向 $\hat g$ 上的投影长度，再乘以 $\hat g$ 得到投影向量——这就是“偏置成分”。

$$\text{proj}_{\hat g}(\vec v) = (\vec v \cdot \hat g) \hat g$$

2. 中和减法：从原向量中减去投影向量，得到的残差向量不再携带偏置方向的成分，这是中和操作的核心。

$$\vec v_{\text{neu}} = \vec v - \text{proj}_{\hat g}(\vec v)$$

3. 词对中心：计算性别词对的算术平均向量 $\mu$，它代表这对词的“公共语义”，是均衡化的圆心。

$$\mu = \frac{\vec w_1 + \vec w_2}{2}$$

4. 半径缩放：$\vec w - \mu$ 得到从中心指向该词的偏移方向，$\sqrt{1 - \|\mu\|^2}$ 是根据单位球面几何推导出的半径，两者相乘得到新位置。

$$\vec w_{\text{eq}} = \mu + \sqrt{1 - \|\mu\|^2} \cdot \frac{\vec w - \mu}{\|\vec w - \mu\|}$$

中和是“擦掉裂纹”，均衡化是“把两边玻璃调平”。两道工序听上去简单，却标志着 AI 公平性从“发现问题”走向“动手治理”的拐点。当然，擦过的镜子不会恢复出厂般的完美，它会留下一些语义的划痕——这引出了不同去偏路线的权衡。

去偏技术对比

同样是擦镜子，匠人们选择了不同的切入点。有人对着成品镜面打磨（后处理去偏），有人在制镜原料——语料——上做文章（数据矫正），还有人改进制镜工艺，把公平性直接写进训练目标（模型约束）。三条路线各有长短，适用于不同的工程阶段。

后处理法的优点是即插即用，不需要重新训练模型，Hard Debiasing 就属于这类；缺点是可能损伤语义信息。数据矫正通过重采样或重加权，让语料中的性别关联更平衡；缺点是大规模语料的清洗成本极高。模型约束则在损失函数中惩罚偏置方向上的投影，需要重新训练，收益更持久，但训练成本也更高。三者不是零和博弈，实践中往往组合使用。

数据矫正中的重加权，在数学上可以表示为对原始词分布做重要性修正。

$$\tilde{P}(w) = \frac{P(w) \cdot r(w)}{\sum_{w'} P(w') r(w')}$$

1. 原始概率：$P(w)$ 表示词 $w$ 在语料中的出现频率或上下文共现概率，它是所有统计学习的起点。

$$P(w) = \frac{\text{count}(w)}{N}$$

2. 重加权因子：$r(w)$ 根据公平性目标设计，当词 $w$ 与某性别的关联过于偏斜时，$r(w)$ 会小于 1 以压低其在训练中的影响。

$$r(w) = \frac{1}{1 + \alpha \cdot |\text{bias}(w)|}$$

3. 归一化修正：除以所有词的加权和，保证修正后的分布仍然是合法概率分布，总和为 1。

$$\tilde{P}(w) = \frac{P(w) r(w)}{\sum_{w'} P(w') r(w')}$$

三种擦法并非互相排斥，负责任的做法往往是“组合拳”：用数据矫正从源头减少污点，用后处理清理成品残留，再用模型约束防止擦痕复发。镜子的清洁度，终于从一个不可控的偶然因素，变成了可以被设计、被权衡的工程变量。

公平性展望

当“语言之镜”被装进越来越多的 AI 系统时，我们需要的就不再是单块镜子的应急擦拭，而是一套镜厅的建造与验收标准。这正是 AI 公平性研究正在做的事：建立伦理审计流程、制定多维度评测基准、推动负责任 AI 的落地规范。伦理审计要求模型开发者在训练前、训练中、上线后持续检查偏置指标；评测基准提供统一“考卷”，让不同模型在同一套偏见测试上可比；负责任 AI 则强调透明度，在模型卡中如实记录训练数据的构成、已知偏见和缓解措施。

公平性最终要落到可量化的指标上，统计均等差异是最基础的一条。

$$\Delta = |P(\hat y = 1 \mid s = m) - P(\hat y = 1 \mid s = f)|$$

1. 敏感属性分组：按受保护属性 $s$ 将人群分组，组 $m$ 与组 $f$ 分别代表不同性别（或种族）群体，公平性指标建立在分组比较之上。

$$s \in \{m, f\}$$

2. 正向结果概率：计算每组内被预测为正向结果的频率。如果有偏语料让“女性”与“低风险”反向关联，这一项会明显偏低。

$$P(\hat y = 1 \mid s = m), \quad P(\hat y = 1 \mid s = f)$$

3. 绝对差异：作差并取绝对值，得到两组之间的机会差距，这是衡量公平性的基础晴雨表。

$$\Delta = |P_m - P_f|$$

公平性不是一道做完就交卷的算术题，指标背后是复杂的文化、法律和伦理权衡。但至少，我们开始用数据和流程来“照镜子”——让 AI 这面镜子不仅更明亮，也更诚实。当每面镜子都意识到自己的曲率会影响光影的方向，镜厅才真正配得上“文明”二字。

AI 应用场景

Python 演示

"""简化版 Hard Debiasing：识别偏置方向、中和中性词、均衡性别词对"""import numpy as np VOCAB = {    'man':     np.array([0.9, 0.2, 0.1]),    'woman':   np.array([-0.8, 0.2, 0.1]),    'king':    np.array([0.8, 0.3, 0.4]),    'queen':   np.array([-0.7, 0.3, 0.4]),    '程序员':  np.array([0.6, 0.5, 0.2]),    '护士':    np.array([-0.5, 0.4, 0.2]),    '工程师':  np.array([0.5, 0.6, 0.1]),    '教师':    np.array([-0.4, 0.5, 0.1]),}VOCAB = {k: v / np.linalg.norm(v) for k, v in VOCAB.items()} def cosine(a, b):    return float(a @ b / (np.linalg.norm(a) * np.linalg.norm(b))) def compute_bias_direction(pairs, vecs):    diffs = np.array([vecs[a] - vecs[b] for a, b in pairs])    cov = diffs.T @ diffs    evals, evecs = np.linalg.eigh(cov)    return evecs[:, -1] def neutralize(word, g, vecs):    v = vecs[word]    return v - (v @ g) * g def equalize(w1, w2, g, vecs):    v1, v2 = vecs[w1], vecs[w2]    mu = (v1 + v2) / 2.0    d1 = v1 - mu    d2 = v2 - mu    d1 = d1 - (d1 @ g) * g    d2 = d2 - (d2 @ g) * g    d1 = d1 / np.linalg.norm(d1)    d2 = d2 / np.linalg.norm(d2)    radius = np.sqrt(max(1.0 - np.linalg.norm(mu) ** 2, 1e-8))    return mu + radius * d1, mu + radius * d2 def run_debias():    pairs = [('man', 'woman'), ('king', 'queen')]    g = compute_bias_direction(pairs, VOCAB)    g = g / np.linalg.norm(g)    print('偏置方向:', np.round(g, 3))    before = cosine(VOCAB['程序员'], VOCAB['man'])    print('去偏前 sim(程序员, man) =', round(before, 4))    for word in ('程序员', '护士', '工程师', '教师'):        VOCAB[word] = neutralize(word, g, VOCAB)    VOCAB['man'], VOCAB['woman'] = equalize('man', 'woman', g, VOCAB)    after_m = cosine(VOCAB['程序员'], VOCAB['man'])    after_f = cosine(VOCAB['程序员'], VOCAB['woman'])    print('去偏后 sim(程序员, man)   =', round(after_m, 4))    print('去偏后 sim(程序员, woman) =', round(after_f, 4)) if __name__ == '__main__':    run_debias()

1. diffs = np.array([vecs[a] - vecs[b] for a, b in pairs])构造性别词对的差异向量，差向量的方向代表“男→女”的语义平移
2. cov = diffs.T @ diffs计算差异向量的协方差矩阵，用于凝聚所有性别轴的方向信息
3. return evecs[:, -1]取最大特征值对应的特征向量，作为偏置子空间的主方向
4. return v - (v @ g) * g用向量减法剥离偏置投影，实现中和操作
5. mu = (v1 + v2) / 2.0计算性别词对的中心，作为均衡化的对称轴
6. radius = np.sqrt(max(1.0 - np.linalg.norm(mu) ** 2, 1e-8))按单位球面几何计算均衡化半径，保证词向量仍位于球面上
7. before = cosine(VOCAB['程序员'], VOCAB['man'])记录去偏前的语义亲密度，作为对比基线
8. for word in ('程序员', '护士', '工程师', '教师')对职业词批量执行中和，覆盖所有可能携带偏置的中性词
9. VOCAB['man'], VOCAB['woman'] = equalize('man', 'woman', g, VOCAB)对性别词对做均衡化，让两极与中性词等距

常见误区

面试题