算法群体公平性原理

可视化演示

可视化展示人口均等/机会均等/预测均等三种统计公平性定义、群体间差异度量指标、以及公平性与准确性的帕累托权衡，步进式理解算法公平性核心原理。

公平为何重要

想象一下，如果家里切蛋糕的任务由机器人承包，而它半年里每次都给弟弟多分一些——就算它每次都是“按程序执行”，姐姐也会对这个家彻底失去信任。AI系统正是这样的“切蛋糕机器人”。它给出的贷款审批、简历筛选、医疗资源分配等结果，天然带有社会和历史数据的烙印。如果历史数据里本来就有“男性贷款更稳”的偏见，AI学到的是偏见而不是真理；如果某些族群的样本在数据集中少得可怜，AI对这群人做出的判断就容易失真。更隐蔽的是“代理特征”——不用敏感属性，却用邮编、兴趣爱好等间接变量复刻了歧视。

这里的核心概念是敏感属性（受保护属性）A，比如性别、种族、年龄、宗教等法律保护的个人特质。我们把人群按A划分成不同群体，然后关注一个统计学问题：模型对这些群体的“正向决策概率”是否存在系统差异。下图给出群体公平最朴素的一个量化——人口均等差异：

回到切蛋糕的比喻：\(D_{SP}\) 就像把姐姐和弟弟半年拿到的蛋糕总重量各自除以次数，再算差。差得越大，说明“分蛋糕机器人”越偏心。所以群体公平的第一步，就是用这样的统计量把隐性的偏心“照”出来。

统计公平三定义

同样是分蛋糕，家里三个人给出了三套标准。妈妈认为“两块完全一样大”才算公平；爸爸认为“正在长身体的弟弟需要更多营养”，所以他主张按需分配；姐姐则觉得“谁今天帮忙做了家务谁多拿”。这三种公平观各有立场，却无法同时全部满足。巧合的是，AI公平性研究中的三种经典统计定义，恰好就是这个家庭会议的理论版。

人口均等（Demographic Parity，DP） 要求两个群体的正向决策率相同，它对应妈妈的“一刀切”标准，不管真实情况如何，只看最终选中比例：

机会均等（Equal Opportunity，EO） 对应爸爸的“按需分配”。它只在“真正符合条件的人”中要求两组的选中率相同，即真阳性率相同，只关注不该被漏掉的人是否被漏掉：

预测均等（Predictive Parity，PP） 对应姐姐的“按付出分配”。它要求在被模型判为正向的人中，两组的真实阳性比例（精确率）相同，即模型说“你合格”时，两组可信度一致：

家庭会议最终无法让三个成员都满意——这在AI公平性中同样成立。研究已经证明，除非两组的基础真实分布完全一致（几乎不可能），否则人口均等与机会均等无法同时严格成立。所以工程师必须像一家人协商那样，先明确“我们的业务到底想守住哪种公平”。

公平度量指标

有了公平定义，还需要一把“尺子”来量化到底有多不公平。相当于分完蛋糕不能只靠眼睛看，而要用电子秤称一称。在公平性工程中，最常用的尺子有两把：差异值（绝对差距）与差异率（相对比值）。

差异值就是上一节看到的 \(D_{SP}\)，直接衡量两个群体指标之间的绝对差。而差异率则更侧重“弱势群体相对于优势群体的比例”。设 \(p_g = P(\hat{Y}=1 \mid A=g)\)，定义正例率比：

以上“尺子”日常应用中最著名的判据是80%规则（四分之五规则）：若 \(R < 0.8\)，即劣势群体正例率不足优势群体的80%，法律与工程实务会将其判定为存在“不利影响”（Adverse Impact）。它像家庭公约里那条“任何孩子拿到的蛋糕不得少于另一块的八成”——简单、直观、好执行。

公平约束形式化

家庭公约只有写下来贴到冰箱上才有约束力。同样，公平不能只停留在“我们应该公平”的口号，而要变成优化问题中可计算的数学条件。公平约束形式化就是这个“写进冰箱贴”的过程。

在机器学习中，模型训练通常是最小化某个损失函数。要加入公平，有两种写法。第一种是硬约束：

第二种更常用于深度学习的是软约束（罚项形式）：把公平差异以惩罚项的形式加入损失函数，让优化器在“精度”和“公平”之间寻找平衡：

回到家庭场景，\(\varepsilon\) 就好比“每块蛋糕重量差不得超过10克”的公约底线，\(\lambda\) 则是妈妈对“偏心行为”的唠叨频率——唠叨得越勤，切蛋糕时就越是轻手轻脚地反复调整。

三重干预策略

发现蛋糕分得不公，家里有三个时间点可以补救：切之前重新调整配方、切的过程中边切边检查、切完之后立刻重新分配。AI公平干预恰好也对应三条路线——预处理、处理中、后处理。它们分别在数据、模型训练、预测结果的三个阶段介入。

预处理在训练开始前修正数据本身的偏差。常用方法之一是重加权：给每个训练样本分配一个权重，矫正某些群体被过度或不足代表的问题。权重公式为：

处理中干预是在模型训练时修改目标函数——把上一节的公平惩罚项直接加进损失，让梯度下降每一步都在“做对预测”与“保持公平”之间走钢丝。后处理干预则在模型训练完成后进行：通过为不同群体设定不同的决策阈值来修正输出。比如A组通过阈值设为0.5，B组设为0.42，让两者的最终通过率满足人口均等。

三条路线各有利弊。预处理最治本但改动成本高，且要小心破坏特征间真实相关性；处理中最灵活但计算复杂度高；后处理最快速，却只“粉刷”了最终输出，模型内部的偏见并未根除。成熟的公平工程往往三者结合，如同一个细心分蛋糕的妈妈，切前想好配方、切时盯着刻度、切后还要用秤复核一遍。

公平审计方法

家里定了分蛋糕的规矩，不等于永远执行到位——还需要定期“查账”看看半年下来两个孩子的人均蛋糕量。AI系统上线后同样需要公平审计（Fairness Audit），这是确保承诺真正落地的手段。

一套完整的审计流程通常有四个步骤：确定敏感属性和分组方式 → 选择公平定义与指标 → 在测试集上分批计算指标 → 汇总对比并出具偏差报告。其中第2步非常关键——是用人口均等、机会均等还是预测均等？这取决于业务性质。比如信贷审批通常更关注机会均等（不想漏掉有还款能力的劣势群体），而流量分发可能更关注人口均等（希望不同群体曝光率接近）。

审计中还会使用一些更宏观的指标，例如比较两个群体在排序质量上的差异：

审计最后要产出一份偏差报告，包含各组指标对比表、差异热力图、风险预警提示和整改建议。就像家庭会议上的账本：哪个月弟弟多拿了、总体差了多少、建议下个月怎么调。有了这份报告，公平问题才能从“感觉不太对”变成“数据说明这里有问题”。

公平精度权衡

如果每次分蛋糕都要求两块完全一样重，妈妈就得多花大量时间反复称量、修整，甚至可能把蛋糕切得七零八碎——这就是追求公平的成本。机器学习中，公平-精度权衡（Fairness–Accuracy Trade-off） 是绕不开的工程现实：公平约束越严格，模型的搜索空间越窄，平均预测精度往往下降。

从数学上看，上一节的软约束损失已经内嵌了这种权衡：

工程实践中的经验是：权衡并非线性，两端还可能存在“无需牺牲精度的公平红利”。当数据本身偏向公平方向（即消偏见反而能改善泛化）时，中等强度的公平约束甚至可能提升整体效果。真正的决策建议是：先画出一条“公平-精度帕累托曲线”，再与业务方、法务方一起商量，在这个曲线上选定一个可接受的工作点，而不是盲目追求某一边。

AI 应用场景

Python 演示

import numpy as np def compute_fairness_metrics(y_true, y_pred, sensitive):    """计算群体公平性指标    参数:        y_true: 真实标签数组 (0/1)        y_pred: 模型预测数组 (0/1)        sensitive: 敏感属性数组 (0=A组, 1=B组)    返回:        (spd, eo, ppv) 三个指标字典    """    groups = np.unique(sensitive)    spd = {}   # 各组的正向选择率    eo = {}    # 各组的真正例率    ppv = {}   # 各组的阳性预测值     for g in groups:        mask = sensitive == g        # 人口均等: 组内被预测为正例的比例        spd[g] = np.mean(y_pred[mask])         # 机会均等: 真实为正例的子集中被预测为正例的比例        pos_mask = mask & (y_true == 1)        eo[g] = np.mean(y_pred[pos_mask]) if np.sum(pos_mask) > 0 else 0.0         # 预测均等: 被预测为正例的子集中真实为正例的比例        pred_mask = mask & (y_pred == 1)        ppv[g] = np.mean(y_true[pred_mask]) if np.sum(pred_mask) > 0 else 0.0     return spd, eo, ppv  def check_80_percent_rule(spd):    """根据80%规则(四分之五规则)判断是否存在不利影响"""    if len(spd) < 2:        return "数据不足"     rates = np.array(list(spd.values()))    if np.max(rates) == 0:        return "无法计算: 两组正例率均为0"     ratio = np.min(rates) / np.max(rates)    if ratio >= 0.8:        return "通过: 未发现明显不利影响 (比率={:.3f})".format(ratio)    else:        return "风险: 存在不利影响 (比率={:.3f})".format(ratio)  if __name__ == "__main__":    np.random.seed(42)    n = 1000    sensitive = np.random.binomial(1, 0.5, n)   # 0=A组, 1=B组    y_true = np.random.binomial(1, 0.4, n)       # 真实正例率40%     # 模拟一个有偏见的模型: 对B组的一部分真实正例误判为负    y_pred = y_true.copy()    bias_mask = (sensitive == 1) & (y_pred == 1)    y_pred[bias_mask] = 0  # 任意丢掉了部分B组的正例     spd, eo, ppv = compute_fairness_metrics(y_true, y_pred, sensitive)     for g in sorted(spd.keys()):        print("组{}: 选择率={:.3f} 真正例率={:.3f} 精确率={:.3f}".format(            g, spd[g], eo[g], ppv[g]))     spd_diff = abs(spd[0] - spd[1])    eo_diff = abs(eo[0] - eo[1])    print()    print("人口均等差异(SPD): {:.3f}".format(spd_diff))    print("机会均等差异(EO):  {:.3f}".format(eo_diff))    print()    print(check_80_percent_rule(spd))

1. compute_fairness_metrics(y_true, y_pred, sensitive)封装了三种公平定义的统计计算，分别对应人口均等、机会均等和预测均等。
2. spd[g] = np.mean(y_pred[mask])计算某群体被预测为正例的平均比例，这是人口均等差异的核心输入。
3. pos_mask = mask & (y_true == 1)先用 “与” 运算筛出“真实为正”的子集，再算其召回率。
4. pred_mask = mask & (y_pred == 1)反向筛出“被预测为正”的子集，用于计算精确率。
5. check_80_percent_rule(spd)取出所有组的正例率做最小值除以最大值，与0.8对比，输出是否符合“四分之五规则”。
6. np.random.binomial(1, 0.5, n)生成模拟的敏感属性数组，50%样本属于B组，模拟一个平衡的群体划分。
7. y_pred[bias_mask] = 0用布尔索引模拟模型偏见：把B组部分正例直接翻转为负例，构造出一个“有偏见模型”的预测结果。
8. print("组{}...".format(g, spd[g], eo[g], ppv[g]))将三个指标同时打印，方便人工核对哪种公平定义在当期数据上表现最差。

常见误区

面试题