算法公平性：公平评估

可视化演示

三步展示公平评估：群体预测率对比与影响度DI检测、混淆矩阵TPR/FPR群体差异分析、预处理去偏闭环与DI改善效果。

公平性定义：体检前先说清“健康”是什么

去体检之前，你得先和医生对齐“健康”的标尺。马拉松运动员心率 50 次/分是强健，普通上班族同样心率却可能被要求复查；给所有病人机械套用同一参考值，反而造成误诊。公平评估的第一步，同样是先明确你想要的“公平”究竟是哪一种——标准没定，后续一切测量都是无本之木。

算法公平领域最基础的划分是个体公平与群体公平。个体公平要求“相似的个体得到相似的对待”——把两个条件几乎相同的申请者放到 AI 评审员面前，它给出的评分不应天差地别。群体公平则把镜头拉远：女性和男性、A 族和 B 族，两个群体整体的通过率应当大致相当。前者关注“点对点”的一致，后者关注“分布对分布”的一致。前者像医生对两个症状一样的病人开同一张处方，后者像医院统计两个科室的治愈率是否差距过大。

形式化地看，个体公平可以写成：两个特征相近的样本，预测差异应被限制在很小的范围内。

再说群体公平。它要求敏感属性不同的两个群组，获得正面结果的概率相同。

两种公平观没有绝对优劣，只分适用场景。就像体检套餐分“基础版”和“深度版”，选错了标尺，报告就会给出南辕北辙的结论。选定公平定义，就为后续一切指标计算定下了基调。

核心评估指标：体检单上的具体检测项目

标准定好了，接下来要上仪器。血压计、听诊器、抽血管——体检项目是把“健康”这个抽象概念落成一个个可测的数字。公平评估同样有一串标准化“检测项目”，其中最常出现在报告单上的有三项：统计均等差异（Demographic Parity）、均等机会（Equal Opportunity）和均等赔率（Equalized Odds）。

统计均等差异是所有指标里最简单直白的一个：直接计算两个敏感群体通过率之差的绝对值。它对应体检里的“体脂率”——不关心内在机理，只看最终数字是否失衡。均等机会则更聪明：它只盯着“真正合格的人”（真实标签 \(Y=1\)）里，两个群体分别有多少被识别出来。好比体检时只统计“确实生病的人”中，有多少被仪器成功查出——漏诊率才是关键，而不是把所有健康人也拉进来平均。

$$\Delta_{DP} = \left| P(\hat{y}=1 \mid A=a) - P(\hat{y}=1 \mid A=b) \right|$$

1. 分组通过率：先分别求出 a 组和 b 组的正例预测比例。

$$P(\hat{y}=1 \mid A=a), \quad P(\hat{y}=1 \mid A=b)$$

2. 求差：两组通过率直接相减，得到方向性差异。

$$P(\hat{y}=1 \mid A=a) - P(\hat{y}=1 \mid A=b)$$

3. 取绝对值：加绝对值避免正负相抵，只看差距大小。

$$\left| \cdot \right|$$

4. 指标含义：\(\Delta_{DP}\) 的量纲是“百分点”，0 为完全无差异。

$$\Delta_{DP}$$

均等机会的公式与之类似，但多了条件 \(Y=1\)：

如果把均等机会再升级一步，得到均等赔率：它同时要求真阳性率和假阳性率在两个群体中都一致——相当于体检既查“漏诊率”也查“误诊率”，防止模型用“对 A 组手松、对 B 组手紧”的方式表面上打平。还有校准性（Calibration）指标：当模型给出 80% 的置信分时，该组人群真实的合格率也应当接近 80%，这检查的是分数本身是否“货真价实”。这些指标各有盲区，就像血压和血糖各自反映一个侧面，单看一项可能“指标正常”，组合起来才能拼出全貌。

偏差来源诊断：追查体检红灯背后的病根

体检指标亮起红灯，医生要做的是追查病因：是最近熬夜导致的暂时性异常，还是长期饮食结构埋下的隐患？同样，当公平指标报警时，我们需要回答一个关键问题——偏差（Bias）到底从哪来？ 只有找到病根，治疗方案才能奏效。

最常见的病根有四类。样本选择偏差：训练数据里某一群体的样本量严重不足，就像体检抽样只抽了一个科室的人，结论天然失衡。特征代理偏差：模型没有直接用敏感属性，但“居住小区”“毕业院校”这些特征成了敏感属性的影子，等于换了个马甲继续歧视。标签噪声偏差：历史标签本身由有偏见的人类标记者生成，AI 只是忠实地继承了这种偏见，如同体检仪器本身没校准，测出来的数自然都偏。聚合统计偏差：把所有群体放在一起算指标看起来正常，但拆开每个细分群体后误差惊人——平均体温正常，不代表没有人在发高烧。

样本选择偏差可以数学化地表达为训练分布与真实分布的偏离：

诊断偏差来源时，还有一个反直觉的陷阱：特征与敏感属性的相关性越高，代理偏差越严重。如果 \(X_j\) 和 \(A\) 的相关系数接近 1，那么删掉 \(A\) 也无济于事，因为 \(X_j\) 已经携带了全部敏感信息。体检时，把“心电图”这一项划掉并不能让心脏问题消失——医生照样能通过其他指标看出端倪。认清这一点，才不会被“我明明没直接用性别”这样的辩解蒙蔽。

评估流程步骤：标准体检四步走

体检有一套固定的流程：先登记个人信息，再逐项检查，然后对照参考区间，最后出具总检报告。公平评估同样有自己的标准操作流程，总共四步。第一步，识别敏感属性——确定哪些字段受法律或伦理保护（性别、年龄、族裔、残障状况等），这些就是体检单上要特别标注的“重点关注项”。

第二步，设定基线性能。在谈论公平之前，必须先确认模型总体的准确率、召回率等基础指标达标——如果一个模型的整体性能如同一个连体温计都拿反的庸医，谈公平就是空中楼阁。第三步，分组测量指标：把数据集按敏感属性切分，在每个子组上分别计算 \(\Delta_{DP}\)、\(\Delta_{EO}\)、均等赔率等指标，像体检一样把每个科室的检查单独出报告。第四步，阈值判定标准：设定业务上可接受的容忍线，例如“统计均等差异不得超过 0.1”，然后逐项对照。

这套流程的价值在于可复现、可审计。有了固定的四步，任何第三方都能拿着同一份数据、同一套标准，重新检查 AI 评审员是否“带病上岗”。就像体检报告必须由独立检验科出具，公平评估也强调流程透明，每一步都要留痕，才能在监管面前说得清、道得明。

因果公平分析：从“关联”走向“因果”的病理溯源

普通体检发现指标异常，医生还要追问：这个异常是直接由某种习惯导致的，还是由其他疾病引起的连带反应？公平评估也面临同样的追问：我们观察到 A 组通过率低，但这究竟是因为敏感属性直接导致了歧视，还是因为 A 组的学历分布客观偏低，而学历是合理的筛选标准？这就要从“统计关联”走向因果公平。

因果公平的核心是反事实推理：一个申请者，如果只改变其敏感属性、保持其他一切条件不变，AI 对他的预测会不会改变？如果会，说明模型确实“看人下菜碟”；如果不会，那现有的结果差异至少不是由身份直接驱动的。这好比追问一个病人的低血压：“如果把你换成另一种血型，血压就会正常吗？”——如果换血型也没用，说明病因根本不在这里。

更进一步，路径特定公平问的是：敏感属性对结果的影响是通过哪条路径传导的？如果性别通过“身高”影响篮球运动员选拔，这条路径在体育场景是合理的；但如果性别通过“裙底偷拍时长”影响信用评分，这条路径就完全不合法。混淆变量控制则提醒我们：收入、教育水平等变量可能与敏感属性相关，却不是敏感属性的“代理”，需要借助因果图小心区分哪些是合理中介、哪些是歧视通道。这些分析像是在做“病理切片”，看穿表面数字背后的因果链条。

去偏治理策略：对症下药的三套治疗方案

诊断明确后，进入治疗环节。去偏策略按照干预时机，可以分为三大类：预处理纠偏（在训练之前修正数据）、训练中约束（在训练过程中施加压力）、后处理校准（在模型输出后调整决策）。它们分别对应体检里的“调整生活习惯”“用药控制”“复查确认”——越早干预，代价越小，效果往往也越彻底。

预处理纠偏最经典的手段是重新加权（Reweighting）。当某群体在训练样本里占比不足时，给它的样本乘以一个大于 1 的权重，人为放大它的影响力，让模型在训练时“多看几眼”稀缺群体。核心公式是：

训练中约束则是把公平目标直接写进损失函数。常见做法是加入对抗性去偏：让一个对抗网络尝试从模型的输出中“猜”出敏感属性；猜得越准，说明输出越泄漏身份信息，就给予主模型越大的惩罚。最终的训练损失形如 \(\mathcal{L} = \mathcal{L}_{\text{task}} - \lambda \mathcal{L}_{\text{adv}}\)，相当于在体检过程中实时监测仪器的偏差并自动纠偏。后处理校准最为保守：模型训练完后不再改动，但在决策环节为不同群体设置不同的阈值，或对输出分数做单调变换，使最终通过的群体比例符合公平要求。它像体检后的“运动处方”——不改变体检数据，但改变你接下来怎么行动。

治疗方案的选取没有银弹。预处理纠偏可能破坏数据分布，训练中约束可能牺牲整体准确率，后处理调整可能引发个体公平争议。一个好的“主治医生”需要结合业务场景、监管要求和可解释性需求做组合治疗，并且在治疗后复测公平指标，确认“病情”真的好转。

高风险行业应用：重症监护室的规矩

普通门诊可以容忍一定误诊率，重症监护室却不行。当 AI 进入招聘、信贷、司法这类对人生轨迹有重大影响的领域时，公平评估就从“建议项”变成了“强制项”。这三个场景对公平的侧重点各不相同，如同 ICU、手术室和产房各有各的操作规范。

招聘筛选最关心统计均等差异与均等机会。如果简历筛选模型对不同性别的“初筛通过率”差距显著，不仅意味着企业可能错失优秀人才，还面临就业歧视诉讼风险。信贷审批侧重均等赔率与校准性：监管机构最反感的是“同风险等级的人，仅仅因为族群背景就得到不同利率”，因此模型必须在相同真实违约率下，对不同群体给出同样校准的信用分。司法量刑领域对公平要求最为苛刻，反事实公平是标配——假释评估模型不能因为换了个族裔背景，就让同一位服刑人员的风险分发生剧烈波动。

这三个场景的综合评估可以汇总为一个加权公平得分：

在高风险场景里，公平评估绝不能上线前测一次就束之高阁。人群结构会漂移、业务策略会调整、社会环境在变化，去年的“体检合格”不代表今年依然健康。真正负责任的做法，是把公平指标接入持续监控系统，每当模型重新训练或业务规则变更时，自动重新评估。这就像重症监护室里的生命体征监测仪——它不会下班，因为病人经不起任何闪失。

AI 应用场景

Python 演示

import numpy as npfrom sklearn.linear_model import LogisticRegression  def fair_metrics(y_true, y_pred, sensitive):    """计算统计均等差异、均等机会与均等赔率差异"""    def positive_rate(cond):        selected = np.where(cond)[0]        if len(selected) == 0:            return 0.0        return float(np.mean(y_pred[selected]))     group_a = sensitive == 0    group_b = sensitive == 1    dp = positive_rate(group_a) - positive_rate(group_b)     pos = y_true == 1    eo = positive_rate(group_a & pos) - positive_rate(group_b & pos)     neg = y_true == 0    fpr_a = positive_rate(group_a & neg)    fpr_b = positive_rate(group_b & neg)    odds = abs(eo) + abs(fpr_a - fpr_b)    return dp, eo, odds  np.random.seed(42)n = 2000sensitive = np.random.binomial(1, 0.5, n)          # 敏感属性：0/1两组feat = np.random.randn(n, 3)feat[:, 0] += sensitive * 0.8                       # 特征0与敏感属性相关y = (feat[:, 0] - sensitive * 0.5 + np.random.randn(n) * 0.3 > 0).astype(int) model = LogisticRegression()model.fit(feat, y)y_pred = model.predict(feat) dp, eo, odds = fair_metrics(y, y_pred, sensitive)print("统计均等差异: %.3f" % dp)print("均等机会差异: %.3f" % eo)print("均等赔率差异: %.3f" % odds)

1. feat[:, 0] += sensitive * 0.8人为让特征 0 与敏感属性相关，模拟真实世界中的代理变量，使模型存在可被检测的偏差。
2. sensitive = np.random.binomial(1, 0.5, n)生成二值敏感属性，把样本均分成 0、1 两个群体，便于对比。
3. def positive_rate(cond)定义一个辅助函数，计算在给定条件（如某一群体）下的正例预测比例。
4. dp = positive_rate(group_a) - positive_rate(group_b)统计均等差异：两组通过率直接相减，得到差异百分点。
5. eo = positive_rate(group_a & pos) - positive_rate(group_b & pos)均等机会差异：只在真实正例子集内比较两组的识别率。
6. odds = abs(eo) + abs(fpr_a - fpr_b)均等赔率差异：同时纳入真阳性差异与假阳性差异，衡量更全面的公平性。
7. model.fit(feat, y)训练模型；这里故意不删除敏感相关特征，让模型学到带偏差的模式，从而让指标能够检测问题。
8. fair_metrics(y, y_pred, sensitive)一次调用返回三项指标，相当于输出一张简明“公平体检报告单”。

常见误区

面试题