司法人工智能伦理：算法歧视与可解释性

可视化演示

展示算法决策的全流程与偏见风险点，通过调节数据偏见水平观察模型预测与裁判环节的偏差扩散，揭示透明度、可解释性与公平度的权衡。

偏见来源：旧汤谱里的三道伤

“正义饭馆”的智能调料师之所以一进厨房就让人忐忑，是因为它的全部学问都来自那摞发黄的旧汤谱。它从不质疑“应该放多少盐”，只统计“以前放了多少盐”。而旧汤谱本身并不完整：当年因偏见被挡在门外的客人、从未有机会端上桌的尝试，统统没有记录。调料师看到的，只是被岁月筛选过的一个切片。

现实中的司法AI同样以历史裁判文书为食。这些数据带着三处旧伤：一是历史裁判本身可能残留时代偏见，例如特定群体曾被处以更重刑罚；二是许多看似中立的特征——如居住区域、子女数量——其实是敏感属性的“代理变量”；三是某些群体的案件样本过少，模型压根看不全他们的真实案情。一个只会复述旧汤谱的助手，自然会把这三处旧伤一并复刻出来。

从数学上看，模型学习的是历史分布 \(P_{\text{data}}(X,Y)\)，而历史记录只是真实世界经过“被记录筛选”后的切片。两者之间的鸿沟，就是偏见进入系统的入口：

\[

P_{\text{data}}(X, Y) = P(X, Y \mid S = 1) \neq P_{\text{truth}}(X, Y)

\]

1. 数据的联合分布：\(P_{\text{data}}(X,Y)\) 表示样本中案情特征 \(X\) 与裁判结果 \(Y\) 同时出现的规律，这是模型“喝”下的第一口汤。

\[

P_{\text{data}}(X, Y)

\]

2. 被记录的条件：\(P(X, Y \mid S=1)\) 表示“在案件被记录（\(S=1\)）的前提下”能看到的数据规律，没被记录的案件永远缺席。

\[

P(X, Y \mid S = 1)

\]

3. 不等号的含义：记录分布不等于真实分布，\(P_{\text{truth}}(X,Y)\) 才是完整世界应有的样子，偏差由此漏进模型。

\[

P_{\text{data}}(X, Y) \neq P_{\text{truth}}(X, Y)

\]

老主厨由此明白：要纠正调料师，先要检查汤谱的来路。面对司法AI，第一个伦理动作不是调参，而是审数据——数据里有什么，系统就会端出什么。

算法歧视：两桌客人，两种咸淡

最让老主厨坐不住的一幕是：同样一份炖萝卜，端给甲桌的汤咸度稳定，端给乙桌的却总偏咸三分。调料师没有恶意，它只是把旧汤谱里“对乙桌客人多放盐”的惯常操作，忠实地平均了出来。这不叫手艺，叫系统性差异。

算法歧视的定义正在于此：系统对不同群体产生稳定、可复现的不利结果，且这种差异无法用真实案情差别来解释。它有多种面孔——可能是给某群体的假阳性率更高，让无辜者被误判；也可能是假阴性率更高，让应获救助者被遗漏。

为衡量歧视，研究者提出“群体公平”概念，其中最朴素的一条叫“人口均等”：要求不同群体获得有利预测的概率相等。

\[

P(\hat{y} = 1 \mid A = 0) = P(\hat{y} = 1 \mid A = 1)

\]

1. 有利结果的记号：\(\hat{y}=1\) 表示模型给出有利预测，例如“再犯风险低”或“建议从轻处罚”。

\[

\hat{y} = 1

\]

2. 分组变量：\(A=0\) 与 \(A=1\) 表示按敏感属性（如性别、民族、户籍）划分的两个群体。

\[

A = 0, \quad A = 1

\]

3. 等式即承诺：两组通过率相等才满足人口均等；差值越大，歧视越明显。

\[

P(\hat{y} = 1 \mid A = 0) = P(\hat{y} = 1 \mid A = 1)

\]

当然，“平均相等”不是终点——老主厨还发现，若乙桌客人长期被多放盐，他们的口味已经被驯化。更精细的“机会均等”要求：在真实结果相同的人里，错误率也应相同。这才是把公平从口号变成配方。

可解释性：说得出“为什么”的黑匣子

客人问：“这碗汤为什么这么咸？”调料师答：“数据说该这么咸。”这就是黑匣子的尴尬：它能给出答案，却给不出理由。可在正义饭馆，每一碗汤都得对得起“说理”二字——法官的判决书必须写清“本院认为”。

可解释性分为两层：全局解释回答“模型整体靠什么判断”，局部解释回答“这个具体案件为什么这么判”。司法场景更看重局部解释，因为当事人只关心自己的案子。而解释工具的价值，就是把“黑匣子”撬开一道缝。

SHAP 是目前最流行的解释工具之一，它把一次预测分解为每个特征的贡献值之和：

\[

\phi_i = \sum_{S \subseteq M \setminus \{i\}} \frac{|S|!\,(M-|S|-1)!}{M!}\left[f(S \cup \{i\}) - f(S)\right]

\]

1. 贡献值符号：\(\phi_i\) 表示第 \(i\) 个特征（如“前科次数”）对这个预测的贡献，可正可负。

\[

\phi_i

\]

2. 组合权重：\(\frac{|S|!(M-|S|-1)!}{M!}\) 是遍历全部特征子集 \(S\) 时的计数权重，保证平均公正。

\[

\frac{|S|!(M-|S|-1)!}{M!}

\]

3. 边际变化：\(f(S \cup \{i\}) - f(S)\) 表示“加上特征 \(i\) 后预测变化了多少”，这正是它的边际贡献。

\[

f(S \cup \{i\}) - f(S)

\]

老主厨把 SHAP 比作“味道拆解表”：虽然它无法复刻整锅汤的层次，但至少让客人看见“咸味的六成来自盐”。有了这份表，当事人和律师才能对判决理由提出异议——说理，是公正的起点。

透明度要求：不是贴出菜谱就够

饭馆新规要求把“智能调料配方”贴在墙上。可老主厨发现，贴出配方不等于客人看得懂，更不等于出了问题能追责。透明度不是把菜谱甩给客人，而是要让“用什么料、何时用、怎么复核”全程可查。

司法AI的透明度有三层含义：算法备案——记录训练数据、特征与模型版本；告知义务——当事人有权知道系统参与了决策；审计监督——第三方能独立复核系统的运行。公开源码只是其中极小的一步，甚至不是必要一步。

为了让“可查”变得“可懂”，LIME 这类技术会在每个案件附近训练一个简单的代理模型来解释复杂模型：

\[

e(x) = \underset{g \in G}{\arg\min}\;\mathcal{L}(f, g, \pi_x) + \Omega(g)

\]

1. 局部解释记号：\(e(x)\) 是对案件 \(x\) 产出的解释，例如“主要因为偿还能力弱导致评分偏高”。

\[

e(x)

\]

2. 寻找最优：\(\underset{g \in G}{\arg\min}\) 表示在所有简单模型中挑一个最贴近复杂模型 \(f\) 的 \(g\)。

\[

\underset{g \in G}{\arg\min}

\]

3. 忠实度损失：\(\mathcal{L}(f, g, \pi_x)\) 衡量 \(g\) 在 \(x\) 邻域内模拟 \(f\) 的偏差，\(\pi_x\) 给邻近样本更高权重。

\[

\mathcal{L}(f, g, \pi_x)

\]

4. 复杂度惩罚：\(\Omega(g)\) 约束解释本身别太复杂，否则又变成另一个黑匣子。

\[

\Omega(g)

\]

老主厨把三份文件钉在墙上：配方备案、客人告知书、季度抽检报告。透明不是表演，而是让每一碗“公正汤”背后都有可追溯的账本。

人机协作：调味师提建议，主厨来掌勺

多番磨合后，老主厨给智能调料师立下铁规矩：你可以递盐递醋，但掌勺必须是我；每碗汤出锅前，我必须亲口尝过、签上名字。调料师的作用是放大主厨的嗅觉，而不是替代它。

司法AI的定位同理：它是“辅助”，不是“决策”。美国 COMPAS 再犯风险评估系统曾因被法院当成“结论”而非“参考”而引发争议，教训恰恰在此。人机协作的核心是“人在回路”——法官始终对判决负责。

一种常见的人机协作机制是置信度阈值：

\[

\text{final} = \begin{cases} \hat{y}_{AI}, & |\hat{y}_{AI}| \geq \tau \\ y_{\text{judge}}, & |\hat{y}_{AI}| < \tau \end{cases}

\]

1. AI 建议：\(\hat{y}_{AI}\) 是系统给出的预测，如再犯风险评分或建议刑期。

\[

\hat{y}_{AI}

\]

2. 置信阈值：\(\tau\) 是预设门槛，\(|\hat{y}_{AI}| \geq \tau\) 表示模型对结论有足够信心。

\[

\tau

\]

3. 两分支决策：第一行为“采纳建议”，第二行为“法官裁判”，分段函数画出人机分工的边界。

\[

\begin{cases} \hat{y}_{AI}, & |\hat{y}_{AI}| \geq \tau \\ y_{\text{judge}}, & |\hat{y}_{AI}| < \tau \end{cases}

\]

尝汤、签名，这两个动作看似笨拙，却是责任归属的锚点。主厨的名字写在菜单上，责任就归主厨；同理，AI 的建议写在卷宗里，签字的法官就是最终责任人。

伦理权衡：效率与公平的天平

饭馆的招牌上写着八个字：“每一碗汤，都要对得起汤。”效率再高、出汤再快，若味道偏了，招牌就砸了。司法AI的价值在于让正义来得更快，但前提是它没有改变正义的分量。

司法AI的伦理框架有三根立柱：正当程序——决策过程公开、可对抗、可申诉；平等保护——不因身份而区别对待；不伤害——尤其不系统性地误伤弱势群体。三者共同回答一个问题：机器能让司法更快，但能让它更公正吗？

效率与公平常常互相拉扯，需要显式的权衡。把两个目标放进同一个目标函数：

\[

\max_{\theta}\; \alpha \cdot \text{Eff}(\theta) + (1-\alpha)\cdot \text{Fair}(\theta)

\]

1. 模型参数：\(\theta\) 指可调的一切，如特征权重、决策阈值。

\[

\theta

\]

2. 效率项：\(\text{Eff}(\theta)\) 度量效率，如结案速度、预测准确率。

\[

\text{Eff}(\theta)

\]

3. 公平项：\(\text{Fair}(\theta)\) 度量公平，如群体通过率差距的倒数。

\[

\text{Fair}(\theta)

\]

4. 权衡系数：\(\alpha\) 决定天平倾向，\(\alpha=1\) 只顾效率，\(\alpha=0\) 只顾公平。

\[

\alpha

\]

老主厨的答案是：宁可慢一点，不能偏一点。司法不同于饭店可以“口味各有所好”，它对每一位客人都只端一碗汤——这一碗，必须同时盛着效率和公平。

治理建议：给饭馆装上仪表盘

老主厨最终为调料师建了一整套“仪表盘”：进门要试菜、每周要抽检、客人投诉要有申诉窗口。治理的目的不是赶走工具，而是让工具在看得见的轨道上运行。

治理建议可落地为四件事：算法备案——记录训练数据、特征清单与模型版本；公平评估——上线前用历史数据回测歧视风险；多方参与——法官、律师、技术专家与公众共同把关；救济渠道——当事人对 AI 影响有异议时可申请人工复核。

公平评估需要可操作的标尺，源自美国劳工部的“四分之五规则”常被用作筛查起点：

\[

\frac{P(\hat{y}=1 \mid A=0)}{P(\hat{y}=1 \mid A=1)} \geq \frac{4}{5}

\]

1. 分子：\(P(\hat{y}=1 \mid A=0)\) 是弱势组获得有利预测的概率。

\[

P(\hat{y}=1 \mid A=0)

\]

2. 分母：\(P(\hat{y}=1 \mid A=1)\) 是参照组获得有利预测的概率。

\[

P(\hat{y}=1 \mid A=1)

\]

3. 阈值：\(\frac{4}{5}\) 即 0.8，比值低于它即触发歧视预警，需要整改。

\[

\frac{4}{5}

\]

至此，正义饭馆的治理闭环成形：数据有来路、系统有解释、运行有审计、决策有人担、委屈有处申。智能调料师终于从“可疑的黑匣子”变成了“可信的老伙计”——而这，正是司法AI伦理的全部追求。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""司法AI公平性审计: 检查预测是否对不同群体存在歧视"""import random random.seed(2024) def generate_cases(n=2000):    """生成历史案件, A组历史上通过率高, B组低, 模拟社会偏见"""    cases = []    for _ in range(n):        group = 'A' if random.random() < 0.5 else 'B'        base = 0.62 if group == 'A' else 0.38        label = 1 if random.random() < base else 0        cases.append((group, label))    return cases def base_rate(cases, group):    """模型从历史数据学到的组内通过率"""    hit = sum(1 for g, y in cases if g == group and y == 1)    total = sum(1 for g, _ in cases if g == group)    return hit / total def predict(rate_map, group):    """按历史通过率输出预测, 模拟训练好的司法AI"""    return 1 if random.random() < rate_map[group] else 0 def pass_rate(preds, groups, group):    """统计某组获得有利预测的比例"""    hit = sum(1 for p, g in zip(preds, groups) if p == 1 and g == group)    total = sum(1 for g in groups if g == group)    return hit / total def main():    cases = generate_cases()    groups = [g for g, _ in cases]    rate_map = {g: base_rate(cases, g) for g in ('A', 'B')}    preds = [predict(rate_map, g) for g in groups]    pa = pass_rate(preds, groups, 'A')    pb = pass_rate(preds, groups, 'B')    ratio = min(pa, pb) / max(pa, pb)    print('A组通过率: %.3f' % pa)    print('B组通过率: %.3f' % pb)    print('人口均等差距: %.3f' % abs(pa - pb))    print('四分之五比值: %.3f' % ratio)    if ratio < 0.8:        print('结论: 触发歧视预警, 需剔除代理特征或调整阈值')    else:        print('结论: 通过公平性审计') if __name__ == '__main__':    main()

1. base = 0.62 if group == 'A' else 0.38模拟两组历史通过率差异，这正是“旧汤谱”里埋下的社会偏见。
2. label = 1 if random.random() < base else 0按带偏的历史基准生成真实标签，数据偏见就此进入训练集。
3. rate_map = {g: base_rate(cases, g) for g in ('A', 'B')}模型“学会”的只是各组的历史平均通过率。
4. preds = [predict(rate_map, g) for g in groups]AI 按历史规律逐案给出预测，忠实地复刻了偏见。
5. ratio = min(pa, pb) / max(pa, pb)计算四分之五规则比值，衡量群体间差距。
6. if ratio < 0.8:比值低于 0.8 即触发歧视预警，提示需要人工介入校正。

常见误区

面试题