SHAP 值与 Shapley 值博弈论数学基础

可视化演示

通过瀑布图动态展示SHAP值如何将模型预测从基准值分解为各特征贡献，红色为正向推动、蓝色为负向拉低，支持切换不同样本。

合作博弈背景

小艾、小天、小安坐在奶茶店的收银台前，面前摊着一张利润表。单干时谁都不赚钱；任意两人搭伙，能勉强覆盖房租水电；只有三人联手，才做到 20 万净利润。小天嘟囔：「这怎么分？」小艾灵机一动：「我们先不讨论分钱，先给每一种组合打个分——比如我和小安两人搭伙值多少，三人齐上阵又值多少。」这个「给任意一组人打分」的动作，就是博弈论的起点。

在数学里，这种「一伙人合力创造价值」的场景叫合作博弈。把它搬到机器学习中，特征就是合伙人，特征的任意子集 S 就是一组合伙人，「打分」函数 v(S) 就叫价值函数。在 SHAP 的语境下，价值函数衡量「只用 S 里的特征做预测时，模型期望输出是多少」。它回答一个核心问题：这组特征单独存在时，能「解释」多少预测结果。

价值函数 v 把特征集合的所有子集映射成一个实数，并且遵循两条自然规则：空集没有价值，因为没有任何特征参与时不存在可归因的贡献；组合越大，价值通常越高，因为更多特征提供了更多信息。

有了这张「利润表」，三个合伙人终于可以坐下来谈分钱了。但问题也随之而来：组合的价值好算，个人的功劳怎么从组合价值里「挤」出来？

Shapley 值公式

小艾第一个打破沉默：「不如把所有入伙顺序都排一遍。小安先来，我第二个来，小天最后来——那么我加入时带来的利润增量，就是我的一份功劳。把 6 种顺序下的增量都算出来，取平均，就是每个人的应得分红。」小天眼前一亮：「也就是说，每个人拿的是『平均边际贡献』。」

这个直觉，正是 Shapley 值的灵魂。对 n 个特征，入伙顺序有 n! 种，但 Shapley 公式用组合权重把问题化简为「枚举所有不包含特征 i 的子集 S」，再对边际贡献加权求和。权重系数表示：在所有排列中，S 中的人恰好先到、i 随后加入、剩下的人最后到的比例。

$$\displaystyle \phi_i(v) = \sum_{S \subseteq N \setminus \{i\}} \frac{|S|!\, (n-|S|-1)!}{n!} \, \left[ v(S \cup \{i\}) - v(S) \right]$$

1. 联盟 S：遍历所有不包含特征 i 的子集，相当于枚举「i 加入之前的团队成员」。

$$S \subseteq N \setminus \{i\}$$

2. 权重系数：分子 |S|! 是 S 内部排列数，(n-|S|-1)! 是剩余成员排列数，分母 n! 是总排列数，合起来表示「i 恰好排在这一位置」的顺序占比。

$$\frac{|S|!\,(n-|S|-1)!}{n!}$$

3. 边际贡献：i 加入前价值 v(S) 与加入后价值 v(S∪{i}) 之差，即 i 带来的利润增量。

$$v(S \cup \{i\}) - v(S)$$

4. 求和取平均：对所有可能的「前序团队」加权求和，得到 i 的平均贡献。

$$\phi_i(v) = \sum_{S} w_{S} \cdot \Delta_i(S)$$

小艾的方案让所有人都没话说：每个合伙人的分红 = 他在所有「入伙顺序」下的平均增量。这正是 Shapley 值的朴素直觉——但要让这个方案真正服众，还需要经受更严格的「公平底线」检验。

四公理验证

分红方案贴出来后，小安较了真：「我得先确认三条底线。第一，20 万要分得一分不剩；第二，如果我和小艾在每次组合里的作用完全一样，那我们的分红必须一样；第三，如果某个合伙人加入任何组合都不改变利润，那他就是蹭饭的，一分钱不该拿。」小艾补充了第四条：「如果我们同时经营奶茶和甜品两个项目，分开算分红再相加，应该和合并算总账的结果一致。」

这四条底线对应博弈论中著名的四个公理：有效性、对称性、虚拟性、可加性。Shapley 值的美妙之处在于：它是唯一同时满足这四个公理的分配方案。只要你觉得这四条底线是公平的，Shapley 值就是你唯一的选择。

四条底线全部通过，合伙人会议全票通过分红方案。数学上早已证明：满足这四个公理的分配方案只有 Shapley 值一个。但故事还没完——这套「分红逻辑」怎样才能应用到 AI 模型上？

SHAP 模型适配

小艾把奶茶店的账本放在一边，打开电脑说：「我们能给合伙人分钱，就能给特征分功劳。」她指着屏幕上的模型预测：「每次预测就像一次净利润，每个特征就像一位合伙人。我们要算的是：这个特征对这一预测结果贡献了多少。」这就是 SHAP 的出发点——把博弈论的分红公式，完整移植到机器学习。

关键在于定义「价值函数」。博弈论里的 v(S) 是「这组人单独干的价值」，在机器学习中则用条件期望来替代：固定 S 中特征的取值（取当前样本的观测值），其余特征按训练集的分布求期望。直觉是：当我们只知道部分特征时，模型「平均而言」会输出多少。SHAP 值就是在这种价值函数定义下的 Shapley 值，而它天然具备加性结构——预测值等于基准值加上所有特征的贡献之和。

现在，每次模型输出预测时，SHAP 都能发一份「功劳电报」：基准值多少、每个特征贡献多少。但新问题来了——特征一多，子集数量呈指数增长，这套公式还算得动吗？

高效计算方法

奶茶店的合伙人从 3 个涨到了 30 个。小安想按 Shapley 公式挨个枚举子集，小艾拦住他：「别算了！3 个特征是 8 个子集，30 个特征就是 10 亿个子集，算到明年也分不了红。」这正是精确计算 Shapley 值面临的困境：复杂度随特征数指数爆炸。

业界的两条破局之路，分别是 KernelSHAP 和 TreeSHAP。KernelSHAP 的思路是「抽样调查」：不再枚举全部子集，而是随机抽取一部分子集，然后用加权线性回归拟合出每个特征的贡献；它给每个子集赋予一个特殊权重，让回归解恰好逼近真实 Shapley 值。TreeSHAP 的思路则是「按手册速算」：当模型是决策树（或随机森林、XGBoost）时，可以利用树结构在不同子集间共享计算路径，把复杂度从指数级降到多项式级。

「抽样调查」和「手册速算」都能在大规模场景下给出分红结果。但合伙人最关心的是：速算出来的结果，和完整计算的结果会不会对不上？

一致性保障

「我不管什么抽样还是手册，只要结果不准，我一分钱都不认。」小安抱着胳膊。小艾点点头：「所以任何 SHAP 的近似算法，都必须满足一致性——这是它的公理级底线。」一致性保证：如果模型发生了某种改动，使得特征 i 在所有联盟下的边际贡献都不降，那么 i 的归因值也不能降。通俗地说，功劳变大的人，分红不能变少。

一致性还分为两个层次。局部一致性关注单个样本：在同一预测点上，解释结果与模型行为的变化保持一致。全局一致性则关注整体排序：在不同样本上汇总后，特征重要度的相对顺序保持稳定。正是这条公理，让 KernelSHAP 和 TreeSHAP 这些近似算法有了「合法性」——它们可以在计算上偷懒，但不能在结论上偏心。

有了这层「不偏心」的保证，合伙人终于放心用快捷算法算分红了。但分红只是起点——做完年终分红，大家更想知道：全年下来，谁对利润的贡献最大？谁的功劳和谁绑定在一起？

全局解释应用

分红结束后的复盘会上，小艾打开全年报表：「单次分红只能看某一杯奶茶的利润来源，但我们还想知道三位合伙人全年的累计贡献。」于是她画了一张图：把每次「分红」中每个合伙人的 SHAP 值取绝对值，再对全年的所有样本求平均，得到的就是全局特征重要度。绝对值是关键——正向贡献和负向贡献都会影响预测，不能互相抵消。

除了排序，还有两张实用图。依赖图把特征的原始取值作为横轴、SHAP 值作为纵轴，能看出「特征取值变大时贡献如何变化」——比如运营投入从 1 万涨到 3 万时贡献先升后降，说明存在最优投入区间。交互效应则更进一步，回答「谁和谁搭配效果最好」——比如配方投入和运营投入同时高时，协同贡献远超各自贡献之和。

从「单次分红」到「年度复盘」，SHAP 完成了从局部到全局的升级。但小安在翻完年度报告后问了一个尖锐的问题：「要是咱三人的活儿本来就有大量重叠，这份功劳簿还分得清吗？」这个问题，指向 SHAP 的边界。

局限与实践

小安发现，自己和天天在门店盯着运营，小艾的配方里也有大量运营决策的痕迹。「我们的工作重叠这么严重，功劳簿上的数字真的靠谱吗？」小艾诚实回答：「这正是 SHAP 的软肋——当特征高度相关时，功劳会在相关特征之间漂移。今天可能把功劳算给运营，明天算给配方，但总和不变。」

除了特征相关性，工程实践还有三个注意点。第一，条件期望在特征强相关时，可能会把样本「推入」训练分布的低密度区域，导致解释失真。第二，SHAP 值的基线选择会影响解读：基线不同，每个特征的贡献也不同，跨数据集比较绝对值要格外小心。第三，SHAP 是「解释预测为何如此」，不是「因果证据」——不能因为 SHAP 值高就断言「调整该特征必然会改变预测」。合理的实践是：用业务知识选择有意义的基线，在部署时做一致性抽查，并结合依赖图做人工复审。

理解这些边界，不是否定 SHAP，而是知道在什么场景下它能给你可靠答案。分红工具再精密，也得知道账本的分歧来自哪里。掌握了 SHAP 和 Shapley 值的博弈论根基，你就能在「让 AI 自证清白」的路上走得更稳。

AI 应用场景

Python 演示

from itertools import combinationsfrom math import factorial  def make_model():    # 奶茶店"利润模型": x0 = 配方投入, x1 = 运营投入, x2 = 环境噪音(无贡献)    return lambda x: 5.0 + 2.0 * x[0] + 3.0 * x[1] + x[0] * x[1]  def payoff(model, baseline, x, S):    # 价值函数: 不在联盟 S 中的特征用基线值填补    filled = []    n = len(x)    for k in range(n):        filled.append(x[k] if k in S else baseline[k])    return model(filled)  def shapley_values(model, baseline, x):    # 暴力枚举 2^n 个子集, 计算每个特征的 Shapley 值    n = len(x)    phi = [0.0] * n    for i in range(n):        others = [j for j in range(n) if j != i]        for r in range(n):            for s_tuple in combinations(others, r):                S = set(s_tuple)                weight = factorial(r) * factorial(n - r - 1) / factorial(n)                marginal = payoff(model, baseline, x, S | {i}) - payoff(model, baseline, x, S)                phi[i] += weight * marginal    return phi  def main():    model = make_model()    baseline = [0.5, 0.5, 0.5]    samples = [[1.0, 2.0, 0.8], [0.3, 0.6, 1.2], [1.5, 1.0, 3.0]]    feature_names = ["配方投入", "运营投入", "环境噪音"]    for x in samples:        phi = shapley_values(model, baseline, x)        phi0 = model(baseline)        pred = model(x)        print("样本:", x)        print("  基线预测 phi0 = %.2f" % phi0)        for name, value in zip(feature_names, phi):            print("  %s 的 SHAP 值 = %+.2f" % (name, value))        print("  加和校验 = %.2f, 真实预测 = %.2f" % (phi0 + sum(phi), pred))        print()  if __name__ == "__main__":    main()

1. def payoff(model, baseline, x, S):定义价值函数：联盟内的特征用真实值，联盟外的特征用基线（均值）填充。
2. return lambda x: 5.0 + 2.0 * x[0] + 3.0 * x[1] + x[0] * x[1]带交互项的玩具模型，交互项让 Shapley 值分布更真实。
3. weight = factorial(r) * factorial(n - r - 1) / factorial(n)计算该联盟大小对应的排列权重，即公式中的阶乘系数。
4. marginal = payoff(...) - payoff(...)计算特征 i 加入联盟 S 前后的价值差，即边际贡献。
5. phi[i] += weight * marginal累加权重乘边际贡献，最终得到 Shapley 值。
6. phi0 = model(baseline)所有特征都用基线值时模型输出，即加性归因中的基准预测 φ0。
7. print(" 加和校验 = %.2f, 真实预测 = %.2f" % (phi0 + sum(phi), pred))验证核心等式：φ0 + Σφi = f(x)。

常见误区

面试题