机器学习公平性的群体公平与个体公平定义

可视化演示

展示群体公平三大统计准则、个体公平相似性原理及公平准则不可能定理的冲突关系。

公平性基础：偏见从哪里来

招聘委员会并不是凭空发明了那套简历打分系统，它是用过去五年 HR 的人工筛选记录训练出来的。如果历史记录本身有偏——面试官带着隐性偏好、样本采样不够全面、或者为了让某些岗位“看起来更稳定”而刻意压低特定人群的分数——模型就会把偏见当成“标准答案”反复放大。所以公平性话题的第一个关键词是：历史数据偏见。

第二个关键来源是“目标函数”。当模型被要求优化“通过率”“点击率”或“利润”时，它会捕捉所有与目标相关的统计信号，包括敏感属性造成的间接信号。住址、学历、生活轨迹这些看似中性的特征，在模型眼里可能变成一张“偏见的代理地图”。这就是为什么公平性会成为可信 AI 的核心质量门：机器会无意识复制人类社会已有的不公，甚至会把它放大到难以察觉的规模。

在公平性文献里，我们通常用几个符号来定义问题：\(X\) 是特征向量，\(A\) 是受保护属性，\(Y\) 是真实标签，\(\hat Y\) 是模型预测。它们的定义虽然简单，却是后续一切公平约束的语法基础。

回到招聘委员会的故事：如果不先分清“系统说的合格”与“真实合格”，我们就会像只看总分而不管分科明细一样，无法定位不公平发生在哪一环。区分 \(\hat Y\) 与 \(Y\)，是公平性讨论真正的起点。

群体公平：拿尺子量两个大组

委员会决定换一种方式看问题：不把候选人一个个单独评估，而是把人群按受保护属性分成两大组，然后比较两组在系统中的整体待遇。这就是群体公平的基本思路——不是问“某个个体是否被亏待”，而是问“某个群体是否在统计意义上被系统亏待”。

第一把尺子叫统计均等，也叫人口统计均等。它要求两个组的通过率大致相等：无论你属于哪个组，被系统选中（\(\hat Y = 1\)）的概率应该相同。它像是一个“总录取配额闸门”，不看真实能力，只看最终结果是否齐平。

第二把尺子叫均等机会。它比统计均等更进一步，强调在真实合格的人（\(Y=1\)）当中，两个组的录用率应当一致。

如果再把 \(Y=0\) 的假阳率也加入约束，就得到了更严格的均等化几率。委员会从体验中体会到：尺子越细致，越能发现表面齐平背后的暗流。

个体公平：把候选人放到同一杆秤上

群体公平解决的是“组间差距”，但委员会很快遇到另一个问题。候选人小李和小王，同校同专业、技术栈几乎相同、实习经历也高度相似，只因所属组别不同，模型一个打了 0.72 分，一个只打了 0.41 分。这种发生在具体个人身上的差异，组间平均数是看不见的。于是我们需要个体公平。

个体公平的核心思想是：相似的个体应该获得相似的预测。这里“相似”需要被精确定义，通常用一个距离函数 \(d(x_i, x_j)\) 来衡量两个人的特征差距。如果两个 candidate 特征距离很小，那么他们的模型输出差距也必须被控制在很小的范围内。这就是著名的 Lipschitz 条件。

个体公平的另一个进阶版本是反事实公平：把同一个人的受保护属性替换成另一个取值，看模型的决策是否发生改变。

个体公平听上去很理想，但它要求我们定义“什么样的两个人算相似”，这在现实里非常主观。委员会意识到：个体公平是更精细的公平标准，但也更依赖业务专家对“相似”的共识。

偏见与因果：透过相关找根源

委员会发现一个奇怪的现象：把学历加入模型后，蓝组的通过率变得更低了。学历和最终绩效确实相关，但学历本身受到地区教育资源、家庭背景等混淆因素的影响。如果模型直接“学习”学历与绩效的相关性，它就会变相惩罚教育资源薄弱的群体，这就引入了混淆变量问题。

这时需要因果推理的视角。普通机器学习看到的都是相关性，而公平性关心的是因果：到底是“你的能力决定了你是否被录用”，还是“你的组别本身导致了录用结果”？为了回答这个问题，我们引入干预操作 \(do(\cdot)\)，它表示“把受保护属性强制设置为某个值”，从而切断混淆变量带来的反向路径。

理解了因果视角后，委员会明白了一个道理：一个模型可能在统计公平指标上“看起来达标”，但在因果层面仍然不公。因为隐藏的混淆变量可能同时在驱动敏感属性和真实标签，让模型“借刀杀人”。

公平度量：把不公变成数字

委员会开会讨论时，只靠“感觉不公平”说服不了工程师。要让各方达成一致，必须把不公平变成数字。这就是公平度量的职责。我们先把模型对每个候选人的预测结果与真实结果放入一个 \(2 \times 2\) 的对比表，也就是混淆矩阵，然后从矩阵中计算各种公平指标。

最基本的是真阳性率：在所有真实合格的人中，有多少被模型正确录用了。

有了混淆矩阵，我们就可以计算接受率差距：\(P(\hat Y=1 \mid A=0)\) 与 \(P(\hat Y=1 \mid A=1)\) 之差的绝对值；也可以计算TPR 差距：两组 TPR 之差的绝对值。这些数字就是群体公平的“仪表盘读数”。委员会还体会到：选择哪个指标，取决于业务伦理。如果两组真实合格率本身不同，强行要求接受率一致，反而可能伤害真实合格率较高的群体。

缓解策略：三种修法

委员会不想拆掉打分系统，而是想给它“校准”。业界主流的公平性缓解策略分为三个阶段，分别对应数据、训练和决策。

预处理阶段，做法是对训练数据去偏。比如给被历史低估的群体样本赋予更高权重，让模型在训练时“多听一听”这些人的声音。常用的重加权公式为：

过程中的方法，则是在模型训练时把公平性作为约束条件加入损失函数，例如让模型去学习一个“不依赖敏感属性”的中间表示。后处理方法最直接：对不同组设置不同的决策阈值，或者对分数做单调变换。委员会最终采用的方案是：保留同一个打分模型，但在录取环节为蓝组和红组分别配置更合理的分数线。结果既保留了模型的知识，又显著缩小了公平差距。

当然，任何缓解策略都有代价。后处理往往会让整体准确率下降一点点，这是公平与性能之间的必然权衡。委员会把这笔账摆在桌面上，交给业务决策者去选择可接受的操作点。

工程实践：从救火到防火

解决了第一轮危机后，委员会把公平性从“一次性补救”升级成了日常机制。这就是公平性在真实工程中的落地方式：数据审计、公平监控、合规落地。

数据审计是在模型上线前，检查训练数据中敏感属性的分布、缺失情况和历史标签是否存在明显偏差。公平监控则是在上线之后，持续计算线上决策记录中的 DP 与 EO 差距，一旦超过预定义阈值就触发告警，让算法团队及时介入。合规落地则是把模型版本、训练数据说明、公平性评测报告完整存档，为内部审计和外部监管提供证据链。

这套做法的本质，是把公平性当成软件质量指标来管理。委员会不再等“出事了再救火”，而是把公平度量嵌入到 ML 的生命周期中。对于任何生产级 AI 系统，公平性都不该是论文里的概念，而是持续运转的质量保障机制。

AI 应用场景

Python 演示

import numpy as np def make_data(n=4000, seed=42):    rng = np.random.default_rng(seed)    A = rng.binomial(1, 0.5, n)          # 受保护属性, 0=蓝组, 1=红组    C = rng.uniform(0.15, 0.85, n)       # 真实潜在能力    Y = (C > 0.5).astype(int)            # 真实标签, 1=合格    S = C + 0.18 * A + rng.normal(0, 0.08, n)  # 模型分数, 红组被抬高    S = np.clip(S, 0, 1)    return A, Y, S def report(name, A, Y, S, th0, th1):    D = np.where(A == 0, S >= th0, S >= th1)    acc0 = D[A == 0].mean()    acc1 = D[A == 1].mean()    tp0 = (D[A == 0] & (Y[A == 0] == 1)).sum()    p0 = max((Y[A == 0] == 1).sum(), 1)    tp1 = (D[A == 1] & (Y[A == 1] == 1)).sum()    p1 = max((Y[A == 1] == 1).sum(), 1)    tpr0 = tp0 / p0    tpr1 = tp1 / p1    dp = abs(acc0 - acc1)    eo = abs(tpr0 - tpr1)    print(f"{name}: DP差距={dp:.3f}, EO差距={eo:.3f}")    print(f"  蓝接受率={acc0:.3f}, 红接受率={acc1:.3f}")    print(f"  蓝TPR={tpr0:.3f}, 红TPR={tpr1:.3f}") def main():    A, Y, S = make_data()    report("全局阈值 0.5", A, Y, S, 0.5, 0.5)    report("后处理: 蓝=0.5, 红=0.68", A, Y, S, 0.5, 0.68) if __name__ == "__main__":    main()

1. S = C + 0.18 * A + rng.normal(0, 0.08, n)模拟模型被历史偏差影响，红组分数被系统性抬高。
2. Y = (C > 0.5).astype(int)真实标签只由潜在能力决定，与组别无关，这是公平性审计的“地面真值”。
3. D = np.where(A == 0, S >= th0, S >= th1)后处理的核心：为不同组分配不同的决策阈值。
4. tpr0 = tp0 / p0计算真阳性率，用于均等机会差距的度量。
5. report(...)把 DP 差距和 EO 差距打印出来，直观对比修复前后的变化。

常见误区

面试题