数据集偏差：历史偏差、采样偏差、标注偏差

可视化演示

三步展示数据集偏差：历史偏差反映社会不平等、采样偏差导致群体代表性失衡、标注偏差源于标注者主观偏好，及各阶段针对性缓解策略。

偏差全景图

照片墙上有 50 张照片，理想情况下它应该精确反映小区家庭的真实构成。可这面墙在成型过程中经历了三层“滤镜”：十年前的老档案里根本没有某些家庭的记录；摄影师只挑方便的时间地点按快门；志愿者贴标签时又各凭眼光。每一层滤镜，都在悄悄改变照片墙的构成和标签。

这三层滤镜放到 AI 领域，就是三类著名的数据集偏差。历史偏差指训练数据如实复刻了过去社会结构中的不平等——老档案里没有的人，AI 永远不会认识；采样偏差指数据收集过程（渠道、时间、地点、受访门槛）导致某些群体代表性不足——摄影师没拍到的家庭，在数据里就是一片空白；标注偏差指标注者的主观偏好渗入标签——同样一张照片，有人觉得“严肃是稳重”，有人觉得“严肃是不幸福”，AI 学到哪种全看标注者是谁。

三类偏差不是孤立的，而是层层嵌套。现实中我们拿到的数据集，是真实分布先被历史偏差扭曲、再被采样偏差过滤、最后被标注偏差污染的结果。用数学符号表示，训练数据的分布是真实分布经过三个“函数”逐层加工后的产物：

$$\displaystyle P_{\text{bias}}(x, y) = f_{\text{anno}}\left(f_{\text{samp}}\left(f_{\text{hist}}\left(P_{\text{real}}(x, y)\right)\right)\right)$$

1. 真实分布：$P_{\text{real}}(x, y)$ 表示真实世界中样本 $x$ 与标签 $y$ 的联合分布——小区里原本有多少户人家、各家真实的状态是什么。

$$P_{\text{real}}(x, y)$$

2. 历史滤镜：$f_{\text{hist}}(\cdot)$ 表示历史偏差函数，老档案本身就缺失部分群体的记录，这一步先把分布扭曲一次。

$$f_{\text{hist}}\left(P_{\text{real}}(x, y)\right)$$

3. 采样滤镜：$f_{\text{samp}}(\cdot)$ 表示采样偏差函数，拍摄过程又过滤掉一部分家庭，让分布继续偏离。

$$f_{\text{samp}}\left(f_{\text{hist}}\left(P_{\text{real}}(x, y)\right)\right)$$

4. 标注滤镜：$f_{\text{anno}}(\cdot)$ 表示标注偏差函数，志愿者贴上主观标签，最终形成模型真正看到的偏差分布。

$$P_{\text{bias}}(x, y) = f_{\text{anno}}\left(\cdots\right)$$

理解了这幅“滤镜叠加图”，后面的每一节，就是逐个拆开这三层滤镜：先诊断，再修复。

历史偏差诊断

照片墙最底下两排贴的是十年前的老档案。那年小区刚落成，只有一部分家庭入住，拍照时又总是优先请“干部家庭”和“双职工家庭”，单亲家庭、外来租户几乎没有留下照片。如今 AI 看着这面墙，就以为小区里从来只有这两种家庭。

这就是历史偏差：训练数据的采集和生成发生在特定的历史条件下，如实“复刻”了当时社会的不平等。它不是采集者故意造假，而是历史本身有偏见。当这些历史数据被拿来训练今天的 AI，过去的偏见就顺着数据流进了模型。更麻烦的是，历史偏差还会连锁放大——模型学到的偏见进入产品，又影响下一轮数据的产生，形成恶性循环。

诊断历史偏差最直接的办法，是把训练数据的分布与权威的目标分布（比如统计局人口数据、户籍登记）做对比。若某些群体在数据中的占比显著偏离目标占比，就存在历史偏差。用 KL 散度可以量化这种偏离——它就像一把尺子，量出“老档案里的世界”和“真实世界”差多远：

$$\displaystyle D_{\mathrm{KL}}(P_{\text{hist}} \parallel P_{\text{target}}) = \sum_{i} P_{\text{hist}}(i) \ln \frac{P_{\text{hist}}(i)}{P_{\text{target}}(i)}$$

1. 目标占比：$P_{\text{target}}(i)$ 表示群体 $i$ 在目标人群中的真实占比，相当于居委会的户籍底册。

$$P_{\text{target}}(i)$$

2. 历史占比：$P_{\text{hist}}(i)$ 表示老档案里群体 $i$ 的占比，两者一对比就能发现问题。

$$P_{\text{hist}}(i)$$

3. 对数偏离比：$\ln \dfrac{P_{\text{hist}}(i)}{P_{\text{target}}(i)}$ 当两者相等时该值为 0，越偏离 0 说明该群体被歪曲得越厉害。

$$\ln \frac{P_{\text{hist}}(i)}{P_{\text{target}}(i)}$$

4. 加权求和：$\sum_{i} P_{\text{hist}}(i) \ln(\cdots)$ 按每个群体的历史占比加权汇总，得到总偏离度，值越大历史偏差越严重。

$$D_{\mathrm{KL}}(P_{\text{hist}} \parallel P_{\text{target}})$$

算出 KL 散度，我们就知道老档案歪到了什么程度。但这只是第一步——知道墙歪了，还得弄清另外两层滤镜各贡献了多少偏差。

采样偏差诊断

补拍新照片时，摄影师图省事，只在工作日上午九点到十一点、在小区中心广场按快门。结果照片里全是退休老人、全职妈妈和自由职业者，朝九晚五的上班族一张都没拍到。

这就是采样偏差：数据采集的机制（时间、地点、渠道、受访门槛）系统性地让某些群体“进不了镜头”。与历史偏差不同，采样偏差不是因为过去不公平，而是因为今天的采集过程有盲区。它最危险的地方在于“沉默”——缺失的群体不会出现在数据里抱怨，模型也就永远不会为它们发声。

诊断采样偏差，要分别统计每个群体在数据和人口中的占比，计算代表性比率 $\omega(x)$：

$$\displaystyle \omega(x) = \frac{\hat{P}_{\text{sample}}(x)}{P_{\text{population}}(x)}$$

1. 人口真实占比：$P_{\text{population}}(x)$ 表示群体 $x$ 在总人口中的真实比例，这是参照系。

$$P_{\text{population}}(x)$$

2. 样本观测占比：$\hat{P}_{\text{sample}}(x)$ 表示群体 $x$ 在已采集数据中的比例，这是被检查的对象。

$$\hat{P}_{\text{sample}}(x)$$

3. 比率判断：$\omega(x) = 1$ 代表无偏差，$\omega(x) < 1$ 代表代表性不足，$\omega(x) > 1$ 代表过度代表。

$$\omega(x) = \frac{\hat{P}_{\text{sample}}(x)}{P_{\text{population}}(x)}$$

用 $\omega$ 一量，摄影师自己也吓一跳——他拍的“小区全景”其实只是上午九点的广场一角。采集机制不改，后面堆再多数据也补不齐这块缺口。

标注偏差诊断

照片墙贴标签时，居委会召集了五位住户志愿者。有人觉得“三代同堂”才叫幸福，有人觉得“丁克家庭”最潇洒。同一张夫妻争吵被抓拍的照片，有人贴“沟通中”，有人贴“不幸福”。

标注偏差来自标注者的主观背景、立场和疲劳程度。它不改变照片本身，却会污染标签——而标签正是 AI 的“标准答案”。如果标准答案众说纷纭，模型学到的就一定是噪音里的偏见。诊断标注偏差的经典方法，是让多名标注者独立标注同一批样本，再计算一致性系数 Cohen's Kappa：

$$\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}$$

1. 实际一致率：$p_o$ 表示多位标注者实际标注结果中相互一致的比例，默契度越高它越大。

$$p_o$$

2. 偶然一致率：$p_e$ 表示即使标注者瞎猜、随机标注，也可能碰巧一致的比例。

$$p_e$$

3. 排除偶然：$p_o - p_e$ 把“碰巧一致”的部分扣掉，剩下的才是真实的共识。

$$p_o - p_e$$

4. 归一化结果：$\kappa = \dfrac{p_o - p_e}{1 - p_e}$ 分子分母都做归一化，最终取值接近 1 表示高度一致，接近 0 表示全靠瞎猜。

$$\kappa = \frac{p_o - p_e}{1 - p_e}$$

Kappa 一算，五位志愿者之间的默契只有 0.4——照片墙的“标准答案”本身四分五裂。这时候与其骂 AI 学得差，不如先统一“幸福”的定义。

数据层缓解

诊断完三层滤镜，开始修复。第一招是在照片墙本身上下功夫：给少数群体补拍照片；实在补不到的，就把每一张现存照片的“发言权”调大；被贴错标签的照片，重新请专家组标一遍。

这三招对应数据层三种缓解策略。重加权采样给少数群体样本更高的损失权重，让它们在训练中的实际影响力回到应有水平；数据增广合成用翻转、裁剪、色彩变换乃至生成模型制造更多同类样本，补足缺失的群体画像；重新标注清洗则请更专业、更多元的标注者重做标签，剔除主观污染。

重加权是数学上最直接的一招。给每个样本算一个权重，让它的有效占比回归到理想分布：

$$\displaystyle w_i = \frac{P_{\text{target}}(y_i, x_i)}{P_{\text{data}}(y_i, x_i)}$$

1. 理想密度：$P_{\text{target}}(y_i, x_i)$ 表示理想数据集中样本 $(x_i, y_i)$ 应有的概率密度，即“应该有多少这样的照片”。

$$P_{\text{target}}(y_i, x_i)$$

2. 实际密度：$P_{\text{data}}(y_i, x_i)$ 表示当前数据集中该样本实际出现的概率密度，即“如今有多少这样的照片”。

$$P_{\text{data}}(y_i, x_i)$$

3. 权重计算：$w_i$ 是两者的比值，训练时用它乘上该样本的损失，相当于在损失函数里“按权重投票”。

$$w_i = \frac{P_{\text{target}}(y_i, x_i)}{P_{\text{data}}(y_i, x_i)}$$

重加权像给照片墙“加权投票”：B 群体照片少，但每张可以顶十张。不过要记住——如果标签本身是错的，加权只会把错误一起放大。数据层解决不了的，要交到模型层。

模型层缓解

照片墙翻修不过来时，居委会决定给 AI 立一条“校规”：不论照片墙怎么歪，模型对 A 群体和 B 群体给出的“幸福概率”必须大体相当，不能一边倒。

这条“校规”就是模型层的公平性约束。除此之外还有两招：对抗去偏在训练时额外训练一个判别器，专门尝试从模型的中间表示猜出样本属于哪个群体，从而逼迫模型把群体信息从表示中丢干净；后处理阈值则对不同群体设置不同的决策阈值——A 群体 0.5 就判幸福，B 群体 0.45 就判幸福，校准输出差异。

公平性约束最常见的写法，是把“人口均等差”作为惩罚项写进损失函数。人口均等差就是两个群体被判为正例的概率之差，差越大越不公平：

$$\displaystyle \mathcal{L}_{\text{total}} = \mathcal{L}_{\text{task}} + \lambda \left| P(\hat{y}=1 \mid A=0) - P(\hat{y}=1 \mid A=1) \right|$$

1. 任务损失：$\mathcal{L}_{\text{task}}$ 表示模型原本的预测误差，比如分类交叉熵，它衡量模型“学得好不好”。

$$\mathcal{L}_{\text{task}}$$

2. 两组预测率：$P(\hat{y}=1 \mid A=0)$ 与 $P(\hat{y}=1 \mid A=1)$ 分别表示群体 0 和群体 1 被模型判为正例的概率。

$$P(\hat{y}=1 \mid A=0) - P(\hat{y}=1 \mid A=1)$$

3. 绝对差：$\left| \cdots \right|$ 对差异取绝对值，得到人口均等差 DP，它衡量“校规”关心的不公平程度。

$$\left| P(\hat{y}=1 \mid A=0) - P(\hat{y}=1 \mid A=1) \right|$$

4. 权衡系数：$\lambda$ 控制公平与精度的权重，$\lambda$ 越大模型越不敢偏向任何群体，但精度也可能受损。

$$\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{task}} + \lambda \cdot \mathrm{DP}$$

有了这条校规，AI 再怎么被歪墙带偏，也不敢对任何群体一边倒。当然，校规太严也会误伤精度，分寸在哪里，要靠案例验证来回答。

案例验证成效

照片墙翻新、校规立好之后，居委会把 AI 重新运行了半年，拿出前后对比数据开会。效果怎么样，不看口号看数字。

验证缓解效果，需要量化“偏差下降了多少”。最常用的做法是：在相同的测试集上，分别计算模型干预前后的人口均等差 DP，再求相对变化：

$$\displaystyle \Delta = \frac{|\mathrm{DP}|_{\text{after}} - |\mathrm{DP}|_{\text{before}}}{|\mathrm{DP}|_{\text{before}}}$$

1. 干预前偏差：$|\mathrm{DP}|_{\text{before}}$ 表示缓解措施实施前，两个群体被预测为正例的概率差，是基准线。

$$|\mathrm{DP}|_{\text{before}}$$

2. 干预后偏差：$|\mathrm{DP}|_{\text{after}}$ 表示实施重加权、公平约束等措施后，同样的概率差缩小到多少。

$$|\mathrm{DP}|_{\text{after}}$$

3. 相对变化：$\Delta = \dfrac{|\mathrm{DP}|_{\text{after}} - |\mathrm{DP}|_{\text{before}}}{|\mathrm{DP}|_{\text{before}}}$ 把绝对下降量归一化，得到偏差改善的百分比，负值越大改善越明显。

$$\Delta = \frac{|\mathrm{DP}|_{\text{after}} - |\mathrm{DP}|_{\text{before}}}{|\mathrm{DP}|_{\text{before}}}$$

这套流程在两个真实场景中得到了验证。招聘筛选场景里，某科技公司用过去十年录用记录训练简历筛选模型，性别间的正例率差高达 0.18。通过重加权 + 对抗去偏 + 阈值校准三管齐下，DP 降至 0.03，$\Delta = -83\%$，而整体录用准确率仅下降 1.2 个百分点。信贷评估场景里，年轻群体被风控员系统性标为“高风险”，诊断发现标注一致性仅 $\kappa = 0.55$；重新制定标注规范并引入仲裁机制后，一致性提升到 0.82，模型对年轻群体的拒绝率下降 12 个百分点，坏账率却没有回升。

数据会撒谎，但数字不会。诊断 → 干预 → 量化对比，这套流程让居委会的 AI 终于配得上“幸福家庭识别”这个称号。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""三类偏差诊断与重加权缓解演示"""import numpy as npfrom sklearn.linear_model import LogisticRegression  def make_data(n=2400, seed=42):    """生成理想数据集: 三个群体人数均衡, 能力标签与真实评分一致"""    rng = np.random.default_rng(seed)    group = rng.integers(0, 3, size=n)    ability = rng.normal(0.5, 0.15, size=n)    noise = rng.normal(0, 0.10, size=n)    y = (ability + 0.05 * (group == 0) + noise > 0.55).astype(int)    x = np.stack([ability, rng.normal(0, 1, size=n)], axis=1)    return x, y, group  def degrade_data(x, y, g, keep_rate=(1.0, 0.6, 0.3), flip_rate=0.08, seed=7):    """模拟采样偏差(keep_rate 按群体留取) 与标注偏差(随机翻转标签)"""    rng = np.random.default_rng(seed)    keep = np.array([rng.random() < keep_rate[gi] for gi in g])    y2 = y.copy()    flip = rng.random(len(y)) < flip_rate    y2[flip] = 1 - y2[flip]    return x[keep], y2[keep], g[keep]  def parity(y_proba, g):    """人口均等差: 群体0 与群体2 被判为正例概率之差"""    return abs(y_proba[g == 0].mean() - y_proba[g == 2].mean())  def reweight(g):    """数据层缓解: 令每群样本权重与其在总体中的占比成反比"""    observed = np.bincount(g) / len(g)    w = np.array([1.0 / 3.0 / observed[gi] for gi in g])    return w / w.sum() * len(g)  def main():    x, y, g = make_data()    xs, ys, gs = degrade_data(x, y, g)    print("理想群体占比:", np.round(np.bincount(g) / len(g), 3))    print("采集后群体占比:", np.round(np.bincount(gs) / len(gs), 3))     base_model = LogisticRegression(max_iter=500)    base_model.fit(xs, ys)    proba_before = base_model.predict_proba(xs)[:, 1]    print("缓解前人口均等差: %.4f" % parity(proba_before, gs))     fair_model = LogisticRegression(max_iter=500)    fair_model.fit(xs, ys, sample_weight=reweight(gs))    proba_after = fair_model.predict_proba(xs)[:, 1]    print("重加权后人口均等差: %.4f" % parity(proba_after, gs))  if __name__ == "__main__":    main()

1. y = (ability + 0.05 * (group == 0) + noise > 0.55).astype(int)生成带真实标签的理想数据，标签与能力正相关但群体间无本质差异。
2. keep = np.array([rng.random() < keep_rate[gi] for gi in g])按群体概率决定样本是否“被拍到”，模拟采样偏差。
3. y2[flip] = 1 - y2[flip]随机翻转 8% 标签，模拟标注者的主观噪声。
4. return abs(y_proba[g == 0].mean() - y_proba[g == 2].mean())计算人口均等差：两个群体被判为正例的概率差。
5. observed = np.bincount(g) / len(g)统计各群体在采集后的实际占比，这是加权的基础。
6. w = np.array([1.0 / 3.0 / observed[gi] for gi in g])权重 = 理想占比(1/3) ÷ 实际占比，被漏采的群体权重自动放大。
7. fair_model.fit(xs, ys, sample_weight=reweight(gs))sklearn 原生支持样本权重，一行代码完成重加权训练。

常见误区

面试题