LLM裁判一致性评估方法

可视化演示

展示数据库预写式日志机制，写操作先记录日志再修改数据页，保证崩溃恢复的持久性。

裁判一致性定义

美食街上有家“码上菜馆”，老板陈哥想用 AI 试菜员“小评”来替代部分人工试菜。第一天，小评给招牌菜打了 4 星；第二天同一道菜，小评却打了 2 星。陈哥立刻意识到：菜没变，变的是裁判的“心情”。这种今天一个说法、明天另一个说法的裁判，再聪明也不敢用。于是，他让老饕老周也来打分，看小评和老周是否“英雄所见略同”。

在 AI 评测中，我们常把大模型当作裁判，这就是 LLM-as-Judge。具体做法是让 LLM 根据给定的评分标准，为不同模型生成的回答打分。但打分之前，我们必须先确认这位裁判是否一致。裁判一致性包含两个层面：一是重测稳定性，也就是同一个 LLM 裁判对同一批样本重复评分，结果是否稳定；二是与人类对齐，也就是它的评分和老周这样的专家是否吻合。前者回答“自己是否精神稳定”，后者回答“品味是否正常”。

为什么一致性和可信度如此相关？因为评测结论要被用来做决策，比如要不要上线一个模型。如果 LLM 裁判对同样的回答时好时坏，那么今天模型排名第一，明天可能掉到第五，评测就没有可重复性。反过来，如果 LLM 裁判和人类专家高度一致，我们就可以更放心地用低成本、高速度的机器裁判去覆盖大规模样本，把人类专家留给少量疑难样本。

需要注意的是，一致性不等于正确性。小评可能很稳定地比老周严格一星，这时它自我一致但并不可靠。因此，裁判一致性只是评测可信度的必要不充分条件——它保证分数可以被复现，至于分数是否反映真实质量，还需要与人类基准比较。陈哥最终决定：先观察小评的“手稳不稳”，再决定要不要让它掌勺。

测量指标准备

陈哥想正式测试小评，却发现第一步不是直接算数，而是想清楚要测什么。如果问“这道菜合不合格”，答案是“合格/不合格”，这是分类判断；如果问“给这十道菜按好吃程度排名”，答案是名次，这是排序判断。两种问题需要不同的尺子。就像量身高用卷尺，量体重用秤，用错工具只会算出没意义的结果。

在 LLM 评测中，首先要判断裁判输出的是什么形态的数据。第一种是类别标签，例如“通过/不通过”“A/B/C/D”；第二种是等级评分，例如 1 到 5 星；第三种是连续分数，例如 0 到 100 分。类别标签主要看 Cohen Kappa，因为它能扣除随机猜中的一致性；等级或分数排序则适合用 Spearman 系数，因为它只关心顺序是否一致。

样本设计也决定了指标的可信度。如果陈哥只拿十道几乎都好吃的菜去测，小评和老周当然很容易一致，但这个测试没有区分度。评测时应该构造难度分布合理的样本，既要有好的回答，也要有中等和差的回答，最好还要包含容易引起分歧的边界样例。另外，评分标准要固定：同样是 4 星，是“有亮点但有小毛病”，还是“整体不错但不惊艳”？只有先把规则写清楚，两次评分之间的差异才算裁判的锅。

准备阶段看似琐碎，却决定后续所有数字的意义。指标只是最后的一把尺子，尺子前面的“测量对象”如果没定义好，再精确的算法也算不出靠谱结论。陈哥把“合格”的标准贴在厨房墙上，又准备了 50 道风味不同的菜，才开始让两位裁判正式“开考”。

Cohen Kappa：分类判断的默契度量

小评和老周开始给 50 道菜打“合格/不合格”。乍一看，两人有 80% 的菜都给出相同结论，陈哥正准备高呼“靠谱”，但老周提醒他：如果 90% 的菜本来就好吃，那么即使两个裁判都是闭眼乱猜，也很容易同时说“合格”。真正要看的是，两位裁判的一致程度有没有超越“瞎猜”。

于是，Cohen Kappa 登场。它把观察到的实际一致率扣掉随机一致率，再除以完全一致和随机一致之间的差距，得到的就是剔除运气后的一致程度。公式如下：

其中，$p_o$ 是观察一致率，$p_e$ 是期望一致率。

在陈哥的实验里，虽然两位裁判在 80% 的菜上意见一致，但因为他们都倾向于说“合格”，随机期望就高达 62%，算出来的 Kappa 只有 0.47，远没有表面上那么亮眼。通常认为，Kappa 在 0.6 以下时一致性只能算“中等”，0.6 到 0.8 才算“可观”，超过 0.8 才是“几乎完全一致”。

Kappa 的价值就在于它不当“老好人”。两位裁判如果全都随大流唱赞歌，观察一致率再高也说明不了鉴别力。只有当他们的一致明显高于运气预期时，这位 AI 裁判才算真的“读到”了菜品的差异。

Spearman 系数：排序打分的默契度量

过了一段时间，陈哥不再满足于问“合格还是不合格”，他想知道小评能不能像老周一样，把 20 道菜按照好吃程度排出座次。这时候，“合格/不合格”的二分判断太粗糙了，因为两道菜可能都合格，但高下立判。陈哥需要一把能衡量“排序默契”的尺子。

Spearman 系数就是这把尺子。它先把每个裁判的原始分数从小到大转换成名次（秩次），然后比较同一个样本在两组名次中的位置差异。只要两位裁判的排序方向一致，哪怕小评整体给分偏低，Spearman 仍然可以接近 1。计算公式如下：

这里 $d_i$ 是第 $i$ 道菜在两个裁判排序中的名次差，$n$ 是样本数量。

Spearman 系数为 1 时，两位裁判给的顺序完全一样；为 0 时，两者没有单调关系；为 -1 时，排名完全相反。对小评来说，如果它对“宫保鸡丁”打 4 星、对“凉拌黄瓜”打 2 星，而老周是 8 分和 5 分，Spearman 依然可能很高，因为两人的排序结论一致。陈哥并不要求 AI 和老周斤斤计较到同一个分数，只要大方向一致，AI 裁判就足够用于快速筛查了。

评估实施流程

陈哥现在知道了指标，但一次像样的“裁判验收”还需要完整的流程。就像不能让小评只尝一口菜就下结论，评测也不能只跑一次模型就宣布分数可信。规范的流程是：先设计样本，再运行裁判，接着清洗数据，最后计算指标并写下结论。

首先是收集评分。陈哥从菜单里挑出 50 道菜，其中包含招牌菜、新研发菜和争议菜；对应到 LLM 评测中，就是从不同模型、不同 prompt 下采集回答，覆盖好、中、差三档质量。然后，让同一个 LLM 裁判在固定评分指令下独立评分，必要时重复运行多次，以获得重测稳定性。为了让两次评分真正独立，可以在不同批次中打乱样本顺序。

接下来是数据清洗。LLM 裁判虽然聪明，但偶尔会答非所问，比如输出一段解释而不给出分数，或者给出“3.5 星-5 星”这种模棱两可的结果。清洗时要把无法解析的评分剔除，并将两次评分的样本一一配对。最后，根据数据类型选择合适的指标：分类标签用 Cohen Kappa，排序或等级评分用 Spearman。计算出结果后，还要结合样本特征解释指标，而不能只看一个孤零零的数字。

一个完整的流程就像一次“盲测”：小评不知道这是为了考验它，老周也不知道小评的存在。只有当采样、运行、清洗、计算四步都规范，得到的一致性指标才有资格写进评测报告。陈哥让这套流程固定成制度，以后每换一批新菜，都先跑一遍“裁判体检”。

实践应用

小评通过了陈哥的两次考验：重测稳定，排序也和老周高度一致。从此，小评正式上岗。它每天可以试吃几百道菜，而老周只需要每周复核一次。这就像在真实 AI 工程中，一旦我们把 LLM 裁判验证好，就可以用它去大规模评估模型输出，极大降低人工评审成本。

在评测可信度方面，每次发布模型评测报告时，都应该附上 Cohen Kappa 和 Spearman 系数。这相当于告诉读者：“我家的 AI 裁判经过测试，结论可以复现，而且和人类专家对得上。”当模型版本更新时，一致性指标还能用于模型筛选：如果 LLM 裁判对两个候选模型给出的排序不稳定，说明两者差距可能并不明显，不能仅凭分数高一点就盲目上线。

在基准建设方面，团队可以把经过一致性验证的 LLM 裁判用于构建更大规模的评测集，同时保留人工标注的“黄金样本”作为锚点。此外，一致性还能当警报器使用：如果某天 Kappa 突然从 0.75 跌到 0.4，很可能说明评分 prompt 被改动、样本分布发生偏移，或者 LLM 服务端出了问题。就像陈哥一旦发现小评连续几天打分飘忽，就会立刻停用并排查原因一样，指标异常是系统健康问题的第一封来信。

AI 应用场景

Python 演示

def rank_values(values):    n = len(values)    pairs = sorted((v, i) for i, v in enumerate(values))    ranks = [0.0] * n    i = 0    while i < n:        j = i        while j < n and pairs[j][0] == pairs[i][0]:            j += 1        avg_rank = (i + 1 + j) / 2.0        for k in range(i, j):            ranks[pairs[k][1]] = avg_rank        i = j    return ranks  def cohen_kappa(ratings_a, ratings_b, categories):    n = len(ratings_a)    if n == 0:        return 0.0    observed = sum(1 for a, b in zip(ratings_a, ratings_b) if a == b) / n    expected = 0.0    for cat in categories:        pa = ratings_a.count(cat) / n        pb = ratings_b.count(cat) / n        expected += pa * pb    if expected == 1.0:        return 1.0    return (observed - expected) / (1.0 - expected)  def spearman(ratings_a, ratings_b):    n = len(ratings_a)    if n <= 1:        return 0.0    ra = rank_values(ratings_a)    rb = rank_values(ratings_b)    d2 = sum((a - b) ** 2 for a, b in zip(ra, rb))    return 1.0 - 6.0 * d2 / (n * (n * n - 1))  def main():    expert = [1, 2, 3, 4, 5, 1, 2, 3, 4, 5]    llm = [1, 2, 3, 4, 5, 2, 1, 4, 3, 5]    categories = [1, 2, 3, 4, 5]    print("Cohen Kappa:", cohen_kappa(llm, expert, categories))    print("Spearman:", spearman(llm, expert))  if __name__ == "__main__":    main()

1. observed = sum(1 for a, b in zip(ratings_a, ratings_b) if a == b) / n计算两个裁判打相同分的比例，这是观察一致率。
2. expected += pa * pb把每个类别上的两个边际比例相乘后累加，得到随机猜中的期望一致率。
3. return (observed - expected) / (1.0 - expected)将结果代入 Kappa 公式，扣除随机一致。
4. avg_rank = (i + 1 + j) / 2.0遇到并列分数时取平均名次，避免 Spearman 因并列而失真。
5. d2 = sum((a - b) ** 2 for a, b in zip(ra, rb))求两组秩次的差平方和，用于计算 Spearman 系数。
6. return 1.0 - 6.0 * d2 / (n * (n * n - 1))用秩差平方和套用 Spearman 公式，得到排序相关性。

常见误区

面试题