Kappa系数怎么算？标注一致性量化方法

可视化演示

通过标注者间一致性矩阵动态展示Cohen Kappa的计算过程，观察Po（观测一致率）与Pe（期望一致率）如何共同决定Kappa值，切换模式查看一致性强度分级。

一致性概念：直觉的陷阱

阿大和阿二探店归来，20家餐厅有16家给出相同评价——80%的一致率让两人信心满满。可阿大一句话点破关键：“你不是总给好评吗？我也是。就算闭着眼睛打分，也得撞上不少‘一致’吧？”这个朴素的质疑，正是数据标注中最容易被忽视的问题：表面的高一致率，可能只是“惯性”的产物。

在标注任务里，“评价一致”对应的是观测一致率（Observed Agreement，简称Po）：两名标注者给同一批样本打相同标签的比例。比如给20条用户评论打“正面/负面”标签，16条完全相同，Po=0.8。它直白、好算，却有一个先天缺陷——把运气也计入了功劳。假设两人都习惯给模糊评论打“正面”，即使标准完全不同，大量样本也会因“惯性撞车”而一致。

$$P_o = \frac{a+d}{n}$$

1. 四格计数：把二位标注者的结果统计成“都正面(a)、A正B负(b)、A负B正(c)、都负面(d)”四个格子，其中a和d是意见一致的样本

$$a + d$$

2. 归一化为比例：用一致样本数除以总样本数，就得到观测一致率Po，取值范围为0到1

$$P_o = \frac{a+d}{n}$$

所以，Po越高不代表标注标准越统一——阿大的直觉告诉我们，必须先给一致率打个“运气折扣”。这个折扣怎么打？正是下一节Kappa系数的核心思想。

Cohen Kappa：剔除运气的一致性

面对阿大的质疑，阿二提议：先算算“运气底数”。他统计两人都爱给好评，自己的推荐率是12/20=0.6，阿二也是12/20=0.6。如果两人毫无默契、纯靠各自惯性独立打分，那么“同时推荐”的概率约0.6×0.6=0.36，“同时不推荐”的概率约0.4×0.4=0.16，加起来0.52——这就是期望一致率（Expected Agreement，简称Pe）：在保持各自偏好的前提下，靠随机撞出相同标签的概率。

$$P_e = p_A \times p_B + (1-p_A) \times (1-p_B)$$

1. 标注者A的正面率：p_A是标注者A打正面标签的样本数占总数的比例，即他的“好评倾向”

$$p_A = \frac{a+b}{n}$$

2. 标注者B的正面率：p_B同理，是标注者B打正面标签的比例，来自混淆矩阵的第一列

$$p_B = \frac{a+c}{n}$$

3. 碰巧都打正面：若两人独立打分，同时打正面的概率等于两个比例的乘积

$$p_A \times p_B$$

4. 碰巧都打负面：两人同时打负面的概率，等于各自打负面比例的乘积

$$(1-p_A) \times (1-p_B)$$

5. 运气底数之和：两类“碰巧一致”加起来，就是随机情况下的总期望一致率

$$P_e = p_A p_B + (1-p_A)(1-p_B)$$

有了Po和Pe，Kappa公式顺理成章：用实际一致率减去运气底数，再除以运气之外“还能赚到的最大空间”。

$$\kappa = \frac{P_o - P_e}{1 - P_e}$$

1. 真实默契量：Po-Pe表示超出运气底数的“额外一致”，这是两人真实默契的证据

$$P_o - P_e$$

2. 最大可提升空间：1-Pe表示运气底数之上最多还能提升的一致率边际

$$1 - P_e$$

3. 标准化比例：两者相除将真实默契量映射到[-1,1]区间，便于跨任务比较

$$\kappa = \frac{P_o-P_e}{1-P_e}$$

回到美食探店：Po=0.8，Pe=0.52，κ=(0.8-0.52)/(1-0.52)≈0.583。阿大看着这个数字感叹：“原来我们80%的一致里，有一半多是运气，真正的默契只有五成八。”这就是Kappa的价值——它让“感觉上的默契”变成“可比较的数字”。

值域解读：默契等级表

0.583算高还是低？就像考试分数需要对照等级表，统计学家Landis和Koch也给Kappa值画了一把“默契尺子”。

当Kappa=1时，两位标注者意见完全一致；Kappa=0时，一致性不比随机瞎猜好；Kappa<0则说明意见比随机还糟——往往是系统性的认知冲突，比如两人对“正面”的理解恰好相反。这把尺子能帮我们快速定位问题：

| Kappa值 | 一致性强度 | 处理建议 |

|---------|-----------|---------|

| <0 | 比随机差 | 排查标注标准是否冲突 |

| 0~0.20 | 微弱 | 必须重新培训与统一标准 |

| 0.21~0.40 | 一般 | 需要大幅修订标注手册 |

| 0.41~0.60 | 中等 | 可以试用，但需持续监控 |

| 0.61~0.80 | 高度 | 质量良好，适合正式上线 |

| 0.81~1.00 | 几乎完美 | 质量优秀，可作金标准候选 |

在数据标注行业，0.7是常见的“及格线”：低于0.7，标注结果不宜直接用来训练模型；达到0.8以上，则说明标注标准相当稳固。阿大对照尺子，发现0.583属于“中等”：“咱俩的默契还差一口气，得多聊聊那些分歧的馆子。”Kappa的意义就在于此——把模糊的感受翻译成可行动的质量信号。

Fleiss Kappa：多位评审的共识

现在编辑部决定扩大评审团，请来5位美食博主一起探店。问题来了：Cohen Kappa只适用于两位标注者，如何衡量整个评审团的一致性？

Fleiss Kappa正是为此设计。它的思路是：先把每个样本看成一份“投票单”，统计这个样本获得了几张“推荐”、几张“不推荐”；然后计算每个样本内部“投票一致”的程度，最后用类似Cohen的框架剥离运气。

$$\bar{P} = \frac{1}{N}\sum_{i=1}^{N}P_i, \quad P_i = \frac{\sum_{j=1}^{m}n_{ij}(n_{ij}-1)}{k(k-1)}$$

1. 某个类别的“同票对数”：n_{ij}个标注者都选了类别j，那么这些投票者之间能组成n_{ij}(n_{ij}-1)对“相同投票对”

$$n_{ij}(n_{ij}-1)$$

2. 单样本总投票对数：k个标注者之间总共有k(k-1)个有序投票对

$$k(k-1)$$

3. 该样本一致度：同类投票对数除以总对数，得到第i个样本的一致度Pi

$$P_i = \frac{\sum_{j=1}^{m}n_{ij}(n_{ij}-1)}{k(k-1)}$$

4. 全体样本平均：将所有N个样本的Pi取平均，得到总平均一致度P̄

$$\bar{P} = \frac{1}{N}\sum_{i=1}^{N}P_i$$

算出P̄后，还需要“运气底数”Pe。在Fleiss框架里，它基于所有标注者对各类别的整体选择比例。

$$P_e = \sum_{j=1}^{m}p_j^2, \quad p_j = \frac{1}{Nk}\sum_{i=1}^{N}n_{ij}$$

1. 类别j的全局占比：把N个样本、k位标注者的所有标签汇总，类别j出现的比例

$$p_j = \frac{1}{Nk}\sum_{i=1}^{N}n_{ij}$$

2. 随机两人同选类别j：任意两位标注者都随机选类别j的概率是p_j的平方

$$p_j^2$$

3. 全体类别的期望一致：所有类别求和，就是整体期望一致率

$$P_e = \sum_{j=1}^{m}p_j^2$$

最后，Fleiss Kappa与Cohen形式一致：κ=(P̄-Pe)/(1-Pe)。比如3位标注者标注5个样本（两分类），算得P̄≈0.833、Pe≈0.609，则Kappa≈0.573——说明评审团有一定共识，但还没到高度一致。与Cohen相比，Fleiss用“全体标注者的投票分布”估计运气，因而能天然扩展到任意人数。

实际应用：标注质量的仪表盘

Kappa在数据标注团队里，就像餐厅后厨的“品控仪表盘”。店长不能只问“今天有没有投诉”，而要派两位“神秘顾客”暗访同一家餐厅，用他们的默契指数来判断出品是否稳定——标注团队也是如此。

具体做法是：每天从已标注数据中随机抽一批样本，安排两名标注员独立复标，计算Cohen Kappa。如果κ<0.6，说明标准执行出现松动，这批数据需要返工；κ在0.6~0.7之间，提示需要复盘分歧；κ>0.7则放行进入训练集。对于众包平台，则定期用Fleiss Kappa监控整体质量，低于门槛时触发全体再培训。

Kappa还能用来筛选“高危样本”：把双方激烈分歧的样本单独拉出来，由资深标注员裁决并写入标注手册，形成“标注—质检—复盘—更新手册”的闭环。随着手册迭代，Kappa值持续上升，就说明团队质量标准在稳步提升。反之如果Kappa突然下滑，往往预示着新批次数据分布出现了变化。

局限与替代指标：Kappa的盲区

Kappa并非万能。设想一条街全是“网红店”，几乎人人都给好评，负评极少。此时两位评审哪怕只有一次意见分歧，Kappa也可能大幅跳水——因为“运气底数”Pe太高，把真实一致的空间挤压得所剩无几。这就是著名的“Kappa悖论”：Po很高，Kappa却很低。

根因在于Pe依赖类别分布。当类别极度不平衡（如99%都是“无关”）时，即使标注者实际一致率高达98%，Kappa也可能只有0.2左右。此时单纯报告Kappa会严重低估标注质量。替代方案之一是PABAK（流行率与偏差调整的Kappa），它把运气基准固定为等概率随机一致，公式如下：

$$\text{PABAK} = \frac{P_o - \frac{1}{m}}{1 - \frac{1}{m}}$$

1. 等概率随机基准：m个类别时，纯随机瞎猜的一致概率是1/m

$$\frac{1}{m}$$

2. 行动后的真实余量：用Po减去随机基准，得到超出等概率随机的部分

$$P_o - \frac{1}{m}$$

3. 标准化：除以最大可能的余量1-1/m，映射到[-1,1]

$$\frac{P_o - \frac{1}{m}}{1 - \frac{1}{m}}$$

因此，在实际报告中应该“多指标搭配”：既有Kappa，也报告各类别比例、分小类的Po，必要时补充PABAK和F1。就像阿大阿二的探店报告，除了默契指数，也要写清楚“推荐了几家、各是什么口味”，读者才能完整判断测评质量。

AI 应用场景

Python 演示

"""使用Python计算Cohen Kappa与Fleiss Kappa"""from collections import Counter  def cohen_kappa(ann1, ann2, labels):    # 计算两位标注者的Cohen Kappa系数    n = len(ann1)    # 构建混淆矩阵    matrix = {}    for a in labels:        matrix[a] = {}        for b in labels:            matrix[a][b] = 0    for a, b in zip(ann1, ann2):        matrix[a][b] += 1    # 观测一致率: 对角线之和 / 总样本数    po = sum(matrix[c][c] for c in labels) / n    # 期望一致率: 各列边际概率乘积之和    pe = 0.0    for c in labels:        p1 = sum(matrix[c].values()) / n        p2 = sum(matrix[k][c] for k in labels) / n        pe += p1 * p2    # 标准化Kappa    kappa = (po - pe) / (1 - pe) if pe != 1 else 0.0    return kappa  def fleiss_kappa(ratings, labels):    # 计算多位标注者的Fleiss Kappa系数    n = len(ratings)          # 样本数    k = len(ratings[0])       # 标注者数    # 每个样本的类别计数    cnts = [Counter(row) for row in ratings]    # 每个样本的一致度Pi    pi_list = []    for cnt in cnts:        agree_pairs = sum(v * (v - 1) for v in cnt.values())        total_pairs = k * (k - 1)        pi_list.append(agree_pairs / total_pairs)    p_bar = sum(pi_list) / n    # 期望一致率: 各类别总占比平方和    pe = 0.0    for c in labels:        pj = sum(cnt[c] for cnt in cnts) / (n * k)        pe += pj * pj    kappa = (p_bar - pe) / (1 - pe) if pe != 1 else 0.0    return kappa  if __name__ == "__main__":    # 示例1: 两位标注者标注20条评论(1=正面, 0=负面)    ann1 = [1, 0, 1, 1, 0, 1, 0, 0, 1, 1, 0, 1, 0, 1, 1, 0, 1, 0, 0, 1]    ann2 = [1, 1, 1, 0, 0, 1, 1, 0, 1, 0, 0, 1, 1, 1, 0, 0, 1, 0, 0, 1]    k1 = cohen_kappa(ann1, ann2, [0, 1])    print("Cohen Kappa = %.4f" % k1)     # 示例2: 3位标注者标注4份样本(类别: 正/负)    ratings = [        ["正", "正", "正"],        ["正", "正", "负"],        ["负", "负", "负"],        ["正", "正", "正"],    ]    k2 = fleiss_kappa(ratings, ["正", "负"])    print("Fleiss Kappa = %.4f" % k2)

1. matrix[a][b] += 1统计两位标注者的标签组合，形成混淆矩阵，Kappa计算的基础
2. po = sum(matrix[c][c] for c in labels) / n对角线之和占比即观测一致率Po
3. p1 = sum(matrix[c].values()) / n标注者A判类别c的边际比例，用于计算运气一致
4. pe += p1 * p2两人“碰巧都选同一类”的概率累加，即为期望一致率Pe
5. agree_pairs = sum(v * (v - 1) for v in cnt.values())同类内“同票对”数，刻画出样本内部的一致程度
6. pj = sum(cnt[c] for cnt in cnts) / (n * k)类别c的全局占比，Fleiss中Pe的基石

常见误区

面试题