模型公平性测试：群体与个体公平

可视化演示

交互展示群体公平性指标对比、个体公平性近邻一致性检验和偏见检测与缓解流程，理解AI公平性核心概念。

公平性基础

继续当你的裁判长。要让“公正”从口号变成可执行的规则，你必须先定义清楚：什么算是偏袒？是某国选手整体得分偏低，还是某个选手被单独压分？前者统计的是“群体”，后者针对的是“个体”。这就在公平性里凿出了两条路：群体公平与个体公平。

群体公平（group fairness）的核心主张是：在敏感属性（如性别、年龄、种族）划分出的不同人群上，模型输出的正向率应当统计上相当。所谓正向率，就是类似“录取率”“通过率”这样的比例。个体公平（individual fairness）则主张：在任务相关特征上相似的两个个体，无论属于哪个群体，都应该获得相似的结果。两者一个是“天平的两端放群体”，一个是“天平的两端放个人”。

还要区分“公平”与“偏见”。偏见（bias）是描述问题的：数据、标注或算法中存在系统性倾斜，导致某些群体被系统性低估或高估。公平（fairness）是描述约束的：它是一组我们选择施加给模型的可量化标准。一个模型可能有偏见，但我们选择了某个公平定义，通过测试来确保偏见不越界。公平性实现的难点在于：不同指标常常相互冲突，群体公平和个体公平也未必能同时满足。这让公平性测试不是“跑一个脚本”，而是“在多个标准之间做权衡设计”。

所以，裁判长的工作不是喊一句“要公平”，而是明确定义哪条评分线路代表群体公正、哪条代表个体公正，并接受它们偶尔的矛盾——这正是用指标度量的前提。

群体公平指标

要判断裁判是否对某国选手集体压分，你不可能凭感觉，得拿出统计数字。假设A国选手平均分 7.8，B国选手平均分 7.2，分差 0.6——这个差值就是最直观的群体公平信号。AI 里最常用的群体公平指标是统计均等差异（Demographic Parity, DP），它统计两组人群获得正向预测的比例之差。

只看 DP 还不够。假设裁判给 A 国选手普遍加分、给 B 国选手普遍减分，但“真优秀的 A 国选手”和“真优秀的 B 国选手”被点名的比例不一致，说明裁判在区分实力时仍然偏心。于是有了均等化几率（Equalized Odds, EO）：在真实标签相同的人群里，两组的正向预测率必须一致。

工程中还会看预测率均衡（两组中被评为正向的人，真实为正的比例应一致）和校准误差（同一分数段上两组真实正例的比例应一致）。它们从不同角度回答“裁判的分数是否有同样的含金量”。把这几个指标想成裁判长的四把尺：DP 量“整体给分松紧”，EO 量“对真才实学的识别力”，预测率均衡量“高分选手的成色”，校准量“每个分数段的可信度”。四把尺都过了，群体维度才算基本过关。

个体公平方法

群体指标都过了，不代表你可以收工。把两位表现几乎相同的选手的录像单拎出来并排看：一个得了 8.0，另一个只得了 7.2，哪怕两国平均分一样，观众也会愤怒——这就是个体层面的不公正。

个体公平（Individual Fairness）的核心约束是：相似的个体应获得相似的输出。先要定义“相似”。通常我们在任务相关特征（如收入、工龄、历史行为）上计算两个样本的距离 $D(x_i, x_j)$；距离越小，代表两人“硬实力”越接近。

实践中常配套做一致性检验：在测试集上对每个样本找 K 个最近邻，统计输出差值的分布，若大量近邻对的分差明显超过 $\epsilon D$，说明模型在个人尺度上不稳定。另一个更“反直觉”的方法是反事实公平：把样本的敏感属性（如性别）翻转后重新预测，结果应当不变。

要提醒的是：“相似”的度量本身可能含偏见——如果把历史工资作为特征，那么历史歧视会被当成“硬实力”复制。所以设计相似性度量时，要刻意剔除与敏感属性强相关的代理特征。这就像裁判长把两段录像并排播放，要求裁判解释分差来源。个体公平方法本质上就是“逐对审查”，它比群体均值更敏感，也更容易暴露细节问题。

偏见检测技术

现在，你怀疑某位裁判偏心。怎么验证？老练的裁判长会先把选手按真实水平分层，再看这位裁判在每一层里是否都对某国选手压低分；还会随机抽几段录像，请其他裁判复评。

对应到算法审计，第一项技术是子群性能对比：把测试数据按“敏感属性 × 真实标签 × 分数段”切分成多个子群，分别计算精确率、召回率、F1 与 AUC。如果某个子群的指标明显塌陷，就找到了疑点。第二项是敏感性分析：对输入中的敏感属性做扰动（比如把性别从“女”翻到“男”），观察模型输出的变化幅度，变化过大说明模型过度依赖敏感属性。第三项是偏见审计工具，如 IBM 的 AI Fairness 360 与微软的 Fairlearn，它们内置了多种指标和可视化面板，可以快速产出审计报告。第四项是因果归因：构建因果图，判断偏差源头是训练数据分布、标注流程还是算法放大。

量化偏见程度时，工程界常用分歧指数（Disparate Impact, DI）配合“80% 规则”。

这就像裁判长在赛后做“录像倒查”：分层对比、随机复评、互换国籍视角。DI 指标就是倒查报告里那句“该裁判对 B 国选手的打分整体低于 A 国选手的八成”的硬证据。

测试设计流程

比赛不是只有决赛那天。赛事开始前，裁判长要制定评分细则、圈定重点复查的选手名单、安排多位裁判独立打分取均值，赛后还要复盘争议判罚。公平性测试同样是一套“赛前—赛中—赛后”的流程。

第一步是设计测试用例。不能只准备“全体样本”这类笼统用例，而要覆盖：敏感属性各分组的组合、不同分数段、边界样本（如分数恰好在阈值附近），以及交叉子群（例如“年轻女性”与“中年男性”）。第二步是数据划分策略：训练集、验证集、测试集都必须按敏感属性分层划分，避免泄漏；同时构造一个平衡的公平性测试集，确保每组样本量足够支撑统计显著性。第三步是设定基线与对照：基线通常是“只使用任务相关特征、不使用敏感属性”的简单模型；对照实验用来回答“偏见是数据带来的，还是算法放大的”。第四步是评估与放行：在测试集上计算各类公平指标，与预设容差比较。

通常把容差定在 0.05 左右、DI 阈值定在 0.8，但具体数值要结合业务风险和法律要求调整。这就像写进赛事手册的评判标准：先定规则，再抽样本，对照历史裁判，最后按多把尺子联合判定。有了这套流程，公平性测评才能可重复、可解释、可审计。

偏见缓解方法

复查结果证明裁判确实偏心。现在有三次补救机会：赛前就替换掉有历史偏向的裁判（预处理）；在比赛进行中给裁判台加上“同分复核”的硬规则（训练中约束）；赛后公布加权修正后的分数（后处理）。

预处理（Pre-processing）在训练之前动手：对样本重加权（提高被压制群体的权重）、平衡采样、或遮蔽与敏感属性强相关的代理特征，让进入模型的数据更干净。训练中约束（In-processing）把公平性写进目标函数：在损失函数中加入公平性正则项，例如对 DP 或 EO 的偏差施加惩罚，让优化器在“准”与“公”之间找平衡。后处理（Post-processing）则最灵活：模型已经训好，不改权重，只对输出做校准。常见做法是为不同群体设置不同的决策阈值，使最终结果的公平指标达标。

最后也是最重要的一步：复测验证。缓解手段不是凭感觉，而是把上一节的整套测试流程重新跑一遍，确认 DP、EO、DI 全部落入容差区间，同时检查准确率、召回率没有严重回退。裁判工作从来不是换个人就万事大吉——预处理换人、训练中加规则、后处理调分，三层防线加一次赛后复核，才能让“公平”从口号变成可验收的分数。

AI 应用场景

Python 演示

# 公平性评估: 计算群体公平三大指标import numpy as np def fairness_report(y_true, y_pred, group, diff_limit=0.05, di_limit=0.8):    # 按敏感属性分组, 逐组计算统计量    groups = np.unique(group)    res = {}    for g in groups:        mask = group == g        res[g] = {            "positive_rate": y_pred[mask].mean(),            "tpr": y_pred[mask][y_true[mask] == 1].mean(),            "fpr": y_pred[mask][y_true[mask] == 0].mean(),        }    ga, gb = groups[0], groups[1]    # 三个核心指标: DP, EO(TPR/FPR差), DI    dp = res[ga]["positive_rate"] - res[gb]["positive_rate"]    eo_tpr = res[ga]["tpr"] - res[gb]["tpr"]    eo_fpr = res[ga]["fpr"] - res[gb]["fpr"]    di = res[gb]["positive_rate"] / max(res[ga]["positive_rate"], 1e-9)    # 联合验收门禁: 全部达标的才放行    passed = (        abs(dp) <= diff_limit        and abs(eo_tpr) <= diff_limit        and abs(eo_fpr) <= diff_limit        and di >= di_limit    )    return {"dp": dp, "eo_tpr": eo_tpr, "eo_fpr": eo_fpr, "di": di, "passed": passed} if __name__ == "__main__":    rng = np.random.default_rng(42)    n = 2000    group = rng.integers(0, 2, size=n)    y_true = rng.integers(0, 2, size=n)    # 制造带偏见的模拟数据: group 系数 0.12 让 B 组更容易通过    score = 0.35 + 0.35 * y_true + 0.12 * group + rng.normal(0, 0.18, size=n)    y_pred = (score > 0.5).astype(int)    report = fairness_report(y_true, y_pred, group)    for key, val in report.items():        if isinstance(val, float):            print(f"{key}: {round(val, 4)}")        else:            print(f"{key}: {val}")

1. mask = group == g按敏感属性构造布尔掩码，只选中当前要统计的群体子集。
2. "positive_rate": y_pred[mask].mean()计算该组的正向预测比例，即“组内通过率”，是 DP 的基础。
3. "tpr": y_pred[mask][y_true[mask] == 1].mean()只在真实正例中统计预测为正的比例，对应 EO 的命中率维度。
4. dp = res[ga]["positive_rate"] - res[gb]["positive_rate"]两组通过率相减，直接得到统计均等差异。
5. di = res[gb]["positive_rate"] / max(res[ga]["positive_rate"], 1e-9)计算分歧指数 DI，分母加极小值防止除零。
6. abs(dp) <= diff_limit通过条件的核心判断，偏差绝对值必须在容差内。
7. score = 0.35 + 0.35 * y_true + 0.12 * group + rng.normal(0, 0.18, size=n)向模拟数据注入 group 系数，制造可控的群体偏见以便验证检测逻辑。

常见误区

面试题