想象一场美食大赛，主办方请来两位裁判：一位是尝遍千山万水的美食家，另一位是只会“数食材种类”的机器人。美食家尝一口就知道调味是否平衡、火候是否到位、层次是否丰富；机器人则扳着手指数：“这道菜用了 12 种食材，那道菜用了 8 种”，然后据此打分。比赛结束，主办方发现一个尴尬的问题——机器人给出的排名，美食家根本不认账。那么问题来了：怎么科学地判断机器人裁判到底靠不靠谱？ 答案藏在一个朴素的问题里——它打出的排名，和美食家的排名，到底有多默契？ 这种“默契程度”正是 AI 评测领域的核心议题：指标与人类相关性。它要回答的是：自动评测指标（比如 BLEU、ROUGE）这类“机器人裁判”的分数，在多大程度上能反映人类真实的偏好判断。如果机器人裁判的排名和美食家几乎一致，我们就有信心用“数食材”代替“尝味道”；如果南辕北辙，那自动评测就只是一场自娱自乐。 这篇文章会把“默契度”拆开来看：三种计算默契的数学工具——皮尔逊（Pearson）、斯皮尔曼（Spearman）、肯德尔（Kendall）——它们各自的脾气、适用场景，以及如何用它们来设计更可信的 AI 评测基准。全程沿用美食大赛的比喻，保证零基础也能看懂。

岗位关联

对 AI 从业者来说，学会用相关性度量检验自动指标与人类判断的一致性，是判断“评测到底有没有效”的基本功，也是向评测基准设计、模型对齐方向进阶的敲门砖。

目录
  1. 可视化演示
  2. 指标评测本质（对应思维导图一级分支 1）
  3. 相关性统计度量（对应思维导图一级分支 2）
  4. 斯皮尔曼秩相关（对应思维导图一级分支 3）
  5. 肯德尔Tau（对应思维导图一级分支 4）
  6. 人类一致性基线（对应思维导图一级分支 5）
  7. 评测设计启示（对应思维导图一级分支 6）
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

演示自动评测指标与人工偏好排名之间的相关性，通过Spearman与Kendall系数量化一致性水平，评估指标反映人类判断的能力。

本节配有交互动效（进入视口后自动加载，约 3KB）。

指标与人类相关性 人工排名 自动指标 一致性 Spearman与Kendall量化

指标评测本质（对应思维导图一级分支 1）

美食大赛开幕了。主办方请来美食家做“人类评审”，又请来只会数食材的机器人做“自动裁判”。24 道菜端上桌，美食家根据味道、口感、创意打出一串 0 到 100 的分数；机器人则扫描每道菜的食材清单，按“种类越丰富分越高”的逻辑打出另一串分数。两道分数摆在一起，主办方最想知道的就是：这两串数字，到底像不像？

在 AI 评测领域，这个“机器人裁判”就是自动评测指标——BLEU 数 n-gram 重叠，ROUGE 数召回词元，BERTScore 算向量余弦相似度。它们看似客观高效，却从未真正“读懂”一句话的意思。而人类评判则同时关注流畅性、连贯性、事实准确性和整体偏好。一个自动指标要想真正替代人工评测，就必须满足一个前提：它的打分与人类打分足够“默契”——这正是“指标与人类相关性”研究的出发点。

形式化地看，假设我们有一组样本 $i = 1, 2, \ldots, n$，人类打分记作 $h_i$，自动指标打分记作 $a_i$。二者的一致性可以抽象为一个相关性函数，取值落在 $[-1, 1]$ 之间：越接近 1，说明两位裁判越默契；越接近 0，说明基本各说各话；越接近 -1，说明彻底对着干。

回到美食大赛：如果机器人裁判的分数和美食家高度同步，主办方就可以放心地让机器人先筛一遍菜，再由美食家精评。评测基准设计也是如此——相关性分析决定了“自动指标能否站岗”的资格。

corr(H,A)∈[−1,1]\text{corr}(H, A) \in [-1, 1]
这个式子把“两位裁判是否默契”压缩成一个数字，是所有相关性分析的总纲领。
  1. 定义人类打分集合把美食家给 24 道菜打的分数收进一个集合，代表“人类偏好的真实分布”。
    H={h1,h2,…,hn}H = \{h_1, h_2, \ldots, h_n\}
  2. 定义自动打分集合把机器人裁判打的分数收进另一个集合，代表“自动指标的输出分布”。
    A={a1,a2,…,an}A = \{a_1, a_2, \ldots, a_n\}
  3. 定义一致性度量函数用一个函数去衡量两个集合之间的对应关系是否同步，结果归一化到 $[-1, 1]$，方便跨数据集比较。
    corr(H,A)\text{corr}(H, A)

相关性统计度量（对应思维导图一级分支 2）

“这两串分数像不像”看似简单，但不同的算法会有完全不同的答案。就好像两位裁判的默契也要分场景：有的是“打分数都一起涨一起跌”，有的是“只有排名前后一致”，还有的是“逐对比较胜负判断都一致”。统计学提供了三种主流工具——皮尔逊相关、斯皮尔曼秩相关、肯德尔 Tau。

皮尔逊相关最直观：它假设两位裁判的打分大体落在一条直线上，衡量的是“分值本身的线性共变程度”。美食家给菜 A 多打 5 分，机器人也跟着多打 5 分，皮尔逊系数就高。公式如下：

皮尔逊有个致命弱点：它害怕“极端菜”。美食家给异域料理打高分，机器人却因为没见过这种食材而打超低分——这一个点就能把相关系数拉垮。正如可视化演示中的第二阶段，红点一出现，线性默契瞬间崩盘。为此，我们需要更关注“排名”和“配对胜负”的算法。

rp=∑i=1n(hi−hˉ)(ai−aˉ)∑i=1n(hi−hˉ)2∑i=1n(ai−aˉ)2r_{p}=\frac{\sum_{i=1}^{n}(h_i-\bar{h})(a_i-\bar{a})}{\sqrt{\sum_{i=1}^{n}(h_i-\bar{h})^2}\sqrt{\sum_{i=1}^{n}(a_i-\bar{a})^2}}
皮尔逊计算的是“两人打分偏离各自平均线的步调是否统一”。
  1. 计算各自的平均水平先求出美食家打分的平均值 $\bar{h}$ 和机器人打分的平均值 $\bar{a}$，作为各自的“基准口味线”。
    hˉ=1n∑i=1nhi,aˉ=1n∑i=1nai\bar{h}=\frac{1}{n}\sum_{i=1}^{n}h_i,\qquad \bar{a}=\frac{1}{n}\sum_{i=1}^{n}a_i
  2. 计算每道菜的偏差$(h_i-\bar{h})$ 表示第 $i$ 道菜的美食家打分偏离其平均线的幅度，$(a_i-\bar{a})$ 同理。
    (hi−hˉ),(ai−aˉ)(h_i-\bar{h}),\qquad (a_i-\bar{a})
  3. 偏差相乘并求和如果每道菜的两个偏差都同正或同负，乘积为正，求和后得到很大的正值，说明两人“同涨同跌”；若一正一负，乘积为负，求和后相互抵消。
    ∑i=1n(hi−hˉ)(ai−aˉ)\sum_{i=1}^{n}(h_i-\bar{h})(a_i-\bar{a})
  4. 除以尺度归一化分母是两个标准差的乘积，相当于把分子按两位裁判打分的波动幅度缩放，最终结果压缩到 $[-1, 1]$。
    ∑i=1n(hi−hˉ)2∑i=1n(ai−aˉ)2\sqrt{\sum_{i=1}^{n}(h_i-\bar{h})^2}\sqrt{\sum_{i=1}^{n}(a_i-\bar{a})^2}

斯皮尔曼秩相关（对应思维导图一级分支 3）

既然具体分数容易受极端值干扰，那不如换个思路：不看分数本身，只看排名先后。这就像美食大赛颁奖时，我们不在乎美食家打了 94 分还是 95 分，只关心哪道菜拿了冠军、哪道菜垫底。斯皮尔曼秩相关的核心思想，就是先把两位裁判的分数各自转换成排名，再比较排名的异同。

具体做法是：把 24 道菜按美食家的分数从高到低排序，第 1 名、第 2 名……记作 $R(h_i)$；再按机器人的分数排序，记作 $R(a_i)$。如果两道菜的排名在两套榜单下都很接近，说明机器人裁判的排序判断与美食家高度一致。斯皮尔曼的计算公式为：

美食大赛中，机器人把一道没人给高分的寡淡菜品排到第 3 名，斯皮尔曼只会把它当成“一次名次差得比较多”的普通分歧，不会像皮尔逊那样被极端分数瞬间带偏。需要注意的是，如果多道菜并列（平级），我们需要给它们分配平均名次，这就是“平级排序处理”。

ρs=1−6∑i=1ndi2n(n2−1),di=R(hi)−R(ai)\rho_{s}=1-\frac{6\sum_{i=1}^{n}d_i^2}{n(n^2-1)},\qquad d_i=R(h_i)-R(a_i)
斯皮尔曼把“分数默契”问题改写成“排名一致”问题，天然不受分数尺度和极端值影响。
  1. 分数转排名$R(h_i)$ 表示第 $i$ 道菜在美食家榜单中的名次，$R(a_i)$ 表示它在机器人榜单中的名次，原始分数被彻底丢弃。
    R(hi),R(ai)R(h_i),\qquad R(a_i)
  2. 求名次差$d_i$ 是同一道菜在两套榜单上的名次之差。若第 5 道菜在美食家那里排第 2、在机器人那里排第 6，则 $d_5 = 2 - 6 = -4$。
    di=R(hi)−R(ai)d_i = R(h_i) - R(a_i)
  3. 名次差平方求和对 $d_i$ 取平方再求和，消除正负抵消，$\sum d_i^2$ 越大代表整体排名分歧越大。
    ∑i=1ndi2\sum_{i=1}^{n}d_i^2
  4. 归一化修正系数 $\dfrac{6}{n(n^2-1)}$ 是根据“完全一致时 $\sum d_i^2=0$、完全相反时取最大值”推导出的缩放因子。
    6n(n2−1)\frac{6}{n(n^2-1)}
  5. 用 1 减去损失$1-\text{损失}$ 保证完全一致时 $\rho_s=1$，完全相反时 $\rho_s=-1$，各说各话时接近 0。
    ρs=1−6∑i=1ndi2n(n2−1)\rho_s = 1 - \frac{6\sum_{i=1}^{n}d_i^2}{n(n^2-1)}

肯德尔Tau（对应思维导图一级分支 4）

如果说斯皮尔曼是“看榜单”，那肯德尔 Tau 就是“逐对 PK”。它不看整张排名表，而是从 24 道菜里任取两道菜组成一个配对，然后问一个问题：这两位裁判，对这 Paired 的胜负判断一致吗？

假设抽到菜 i 和菜 j。如果美食家认为 i 比 j 好、机器人也认为 i 比 j 好，这就是一个“一致对”（concordant）；如果美食家认为 i 好而机器人认为 j 好，这就是“不一致对”（discordant）。把所有可能的两两配对都检查一遍，统计一致对总数 $C$ 和不一致对总数 $D$，再用总配对数做归一化：

回到美食大赛：那道让机器人懵圈的异域料理，在肯德尔眼里不过是一两场比赛的胜负分歧，成不了气候。所以当数据里存在离群样本、而你又只关心“谁比谁更好”这类排序判断时，肯德尔 Tau 往往是比皮尔逊更从容的裁判。

τ=C−D(n2)=C−D12n(n−1)\tau=\frac{C-D}{\binom{n}{2}}=\frac{C-D}{\frac{1}{2}n(n-1)}
肯德尔从“任意两道菜的相对判断”出发度量默契，逐对比较的方式让它对异常点极不敏感。
  1. 构造全部配对从 $n$ 道菜中任选两道的组合总数是 $\binom{n}{2}$，展开后为 $\dfrac{n(n-1)}{2}$，这是所有 PK 场次的规模。
    (n2)=12n(n−1)\binom{n}{2}=\frac{1}{2}n(n-1)
  2. 判断一致对条件$(h_i-h_j)$ 和 $(a_i-a_j)$ 同号时，两位裁判都认为 i 比 j 好，记为一致对，贡献给 $C$。
    (hi−hj)(ai−aj)>0⇒一致对(h_i-h_j)(a_i-a_j) > 0 \Rightarrow \text{一致对}
  3. 判断不一致对条件乘积小于 0 时，两位裁判对“谁更好”产生分歧，贡献给 $D$。
    (hi−hj)(ai−aj)<0⇒不一致对(h_i-h_j)(a_i-a_j) < 0 \Rightarrow \text{不一致对}
  4. 净一致度归一化$(C-D)$ 表示“一致对胜过不一致对的净数量”，除以总配对数后映射到 $[-1, 1]$。
    τ=C−D12n(n−1)\tau=\frac{C-D}{\frac{1}{2}n(n-1)}

人类一致性基线（对应思维导图一级分支 5）

比赛进行到一半，主办方发现一个更棘手的问题：两位美食家自己也有意见不合的时候。 一位觉得这道菜创意满分，另一位觉得调味失败；一位给了 90 分，另一位只给 60 分。原来“人类评判”本身就不是铁板一块。

这引出了评测领域的重要概念——评价者间信度，也就是人类评委之间的一致性程度。评测数据集通常需要多位标注者打分，如果标注者之间的一致性只有 0.72（比如用相关或 Kappa 类指标度量），那么任何自动指标与“人类平均分数”的相关性就很难稳定超过这个水平。因为人类判断本身就是波动的，“金标准”数据记录的是人类偏好的带噪声的快照。

这种一致性数据有两大价值：第一，它作为相关性上限参考——自动指标再优秀，也难以超越人类评委彼此之间的默契上限；第二，它帮助做方差来源分析——低一致性可能源于打分标度模糊（比如 1-100 分制导致尺度不一）、标注指南不清晰或样本本身模棱两可，这些都可被定位并改进。

在美食大赛中，主办方应该先让两位美食家对同一批菜各自打分、算出他们的默契基线，再去苛求机器人。AI 评测同理：如果一个基准上人类评委之间的一致性只有 0.5，那么自动指标相关性报告为 0.9 本身就值得怀疑——机器怎么可能比人类还懂人类？这条“人类基线”让所有相关性数字都有了参照系。

评测设计启示（对应思维导图一级分支 6）

理解了“默契度”的度量方法后，最后的问题是如何把这些方法落地到评测基准设计中。就像美食大赛的主办方要决定：请多少位评委、用什么评分表、如何汇总意见、赛后是否复盘。

采样规模是第一关。相关性估计在小样本上极不稳定——如果只评测 10 道菜，一个异常点就能让相关系数剧烈波动。业界经验是评测集至少覆盖数百个多样本，并分层抽样保证难度分布均衡。打分标度选择同样关键：标度太粗（如只有“好/坏”两档）会丢失排序信息，大量平级会让斯皮尔曼和肯德尔被迫处理并列；标度太细（如 1-100）又会引入噪声，降低人类一致性。实践中 4-7 级 Likert 标度或成对比较（Pairwise Comparison）往往更稳健。

聚合策略决定如何把人头汇总成分数：直接平均、中位数、还是多数投票？这直接影响人类一致性基线的计算。持续监控则提醒我们：模型和指标都会迭代，今天高度默契的自动指标，明天换一个模型分布就可能失灵，需要定期重算相关性和人类基线。

最终，评测设计是一场“信任管理”：我们信任自动指标的程度，完全取决于它与人类意愿的默契度测量有多严谨。主办方把评分表、评委人数、汇总规则都定明白，机器人裁判的“数食材大法”才能真正为美食大赛增效——这正是相关性分析从数学公式走向评测工程实践的意义所在。

AI 应用场景

大模型评测基准的指标筛选

阶段：评测方法论 / 自动评测指标选型

解决的问题：开发大模型评测基准时，候选自动指标（如 ROUGE、BERTScore、GPT-4 打分）众多，传统做法凭经验挑选，容易选到与人类偏好偏离的指标。AI 方案是用小规模人类标注集计算各指标与人类打分的 Spearman / Kendall 相关性，量化筛选出默契度最高的指标作为评测基准的主指标。

具体案例：某团队构建中文摘要评测集，让 20 名标注者对 500 条摘要打分，再分别计算 ROUGE-L、BERTScore 与人类打分的肯德尔 Tau，发现 BERTScore（Tau=0.73）显著优于 ROUGE-L（Tau=0.51），最终确定以 BERTScore 为主指标并纳入评测报告。

数据标注团队的质量监控

阶段：数据工程 / 标注质量控制

解决的问题：多人标注同一批数据时，标注者之间标准不统一，传统做法靠抽检复核，成本高且滞后。AI 方案是定期计算标注者间一致性（如配对相关或 Kappa），并把它作为人类一致性基线，一旦一致性跌破阈值就触发标注指南修订或重新培训。

具体案例：某自动驾驶数据团队每周计算两位标注者对 200 张图片的 5 级障碍物风险评分相关性，发现第 3 周 Kendall Tau 从 0.81 跌到 0.64，追问发现新增的“模糊障碍物”标注规则未被全员知悉，修订指南后回升至 0.78。

模型迭代回归检测中的代理信号

阶段：模型评测 / 回归测试

解决的问题：大模型每版迭代都需人工评测确认质量不下降，成本极高。AI 方案是预先验证自动评测指标与人类偏好的相关性后，将其作为代理信号放入 CI/CD 流水线，每次发布前先跑自动相关性校验，异常再触发人工评测。

具体案例：某对话模型团队在发布 v3 前，用 300 条测试样本计算新模型输出的自动指标与人类评分的 Spearman 相关性为 0.62，明显低于上一版的 0.71，立即阻止发布并定位到语气退化问题，避免了线上事故。

Python 演示

python31 行
# -*- coding: utf-8 -*-"""计算自动评测指标与人类评分的三种相关性"""import numpy as npfrom scipy.stats import pearsonr, spearmanr, kendalltau  def main():    # 模拟 10 条生成结果：人类打分(5分制)与自动指标打分(0-1)    human = np.array([4.8, 4.2, 3.9, 3.5, 3.2, 2.8, 2.5, 2.1, 1.8, 1.2])    auto = np.array([0.92, 0.85, 0.80, 0.74, 0.70, 0.62, 0.55, 0.48, 0.40, 0.30])     # 计算三种相关性系数    pr, _ = pearsonr(human, auto)    sr, _ = spearmanr(human, auto)    kt, _ = kendalltau(human, auto)     # 把分数转成排名（从高到低），直观对比排名一致性    human_rank = np.argsort(np.argsort(-human)) + 1    auto_rank = np.argsort(np.argsort(-auto)) + 1     print("人类打分     :", human)    print("自动指标打分 :", auto)    print("人类排名     :", human_rank)    print("自动指标排名 :", auto_rank)    print("皮尔逊相关系数    : %.4f" % pr)    print("斯皮尔曼相关系数  : %.4f" % sr)    print("肯德尔Tau相关系数 : %.4f" % kt)  if __name__ == "__main__":    main()
目的：用三行 scipy 函数同时算出一个自动评测指标与人类打分的皮尔逊、斯皮尔曼、肯德尔三种相关性，并打印排名对比，让评测者一眼看出“机器人裁判”与“美食家”的默契程度。
  1. human = np.array([4.8, 4.2, ...])模拟 10 条样本的人类打分数组，作为金标准。
  2. auto = np.array([0.92, 0.85, ...])模拟自动指标打出的分数数组，强调两套分数尺度完全不同（5 分制 vs 0-1 分制）。
  3. pearsonr(human, auto)计算皮尔逊相关，适合先看两串分数是否有线性共变。
  4. spearmanr(human, auto)把分数转成排名后计算斯皮尔曼相关，消除分数尺度差异。
  5. kendalltau(human, auto)逐对比较后计算肯德尔 Tau，对异常点更稳健。
  6. np.argsort(np.argsort(-human)) + 1巧妙地把分数数组转成从高到低的排名序列，便于人工核查排名差异。

常见误区

误区我看到自动指标与人类打分的皮尔逊相关是 0.9，就觉得这个指标非常可靠，可以直接完全替代人工评测。

正解高相关只是一个维度上的证据。如果样本量很小（比如只有 8 条）、人类评委之间的一致性很低（比如只有 0.5），或者皮尔逊被一个极端点拉高，0.9 都可能失真。真正靠谱的做法是同时报告样本量、显著性 p 值、人类一致性基线，并综合 Spearman 和 Kendall 进行交叉验证。好比美食大赛里，机器人只在 3 道菜上跟美食家意见一致，不能说明它真懂美食。

为何常见：相关系数被包装成单一数字，人们天然喜欢用简单的“高分 = 好”来做决策，忽略了数字背后的统计前提和样本背景。

误区皮尔逊相关系数达到 0.85，我就认为这个自动指标能完美复现人类对模型的排名。

正解皮尔逊衡量的是两串分数的线性共变关系，完全可能出现“皮尔逊很高但排名错乱”的情况。比如美食家打 90、80、70，机器人打 10、20、30，两者线性关系是完美负相关，排名却完全相反；或者机器人的分数被整体压扁，线性相关高但实际排名有大量并列。要看排名是否一致，必须用斯皮尔曼秩相关或肯德尔 Tau，它们直接比较排序关系。

为何常见：皮尔逊是教科书最先教、也最常被软件默认输出的相关系数，很多人习惯性地把它等同于“一致性”。

误区同一个数据集上斯皮尔曼算出来是 0.81，肯德尔只有 0.64，我觉得肯德尔这个指标不够灵敏，以后只用斯皮尔曼。

正解这两种系数度量的是不同视角：斯皮尔曼看整体排名差值，肯德尔看逐对胜负一致性。在数据近似于“均匀分布排名”时，Kendall 的数值天然会比 Spearman 小（经验上约为后者的 2/3），这不是“不灵敏”，而是数学定义使然。选哪个取决于业务问题：如果关心“谁排第几”用 Spearman，如果关心“任意两两比较谁更好”用 Kendall。

为何常见：人们习惯把同一量纲的数字直接比大小，忽略了不同统计量即使都落在 $[-1,1]$，其刻度含义也完全不同。

误区既然目标是让机器替代人类，那自动指标与人类平均分的相关性当然是越高越好，人类评委之间的分歧不重要。

正解人类打分本身就带有噪声，多位评委之间的一致性构成了一道“上限墙”。如果两位美食家对同一道菜的判断只有 0.7 的默契，那机器人想达到 0.9 的默契在统计上就非常可疑，往往意味着标注过程引入了偏差（例如某位评委主导了平均分）。正确做法是先计算评价者间信度作为基线，再考察自动指标的相关性是否逼近这个上限，而不是孤立地追求高相关系数。

为何常见：人类一致性这个概念不容易想到，因为多数人默认“人类评分 = 客观真相”，忽略了评测标注本质上也是主观行为的集合。

面试题

Q1. 想要度量“自动评测指标的打分与人类专家的排名顺序是否一致”，最合适的是？

单选题 · easy

  • A.皮尔逊相关
  • B.斯皮尔曼相关← 正确答案
  • C.均值绝对误差
  • D.简单方差分析

答案：B。斯皮尔曼秩相关专门衡量两套排名的顺序一致性，不关心具体分数差异。皮尔逊看线性共变，均值绝对误差看分数差值大小，方差分析比较组间差异，都不是“排名是否一致”的直接度量。

Q2. 皮尔逊相关系数主要衡量的是两个变量之间的什么关系？

单选题 · easy

  • A.线性相关关系← 正确答案
  • B.单调秩次关系
  • C.因果依赖关系
  • D.离散程度关系

答案：A。皮尔逊计算的是两串数值偏离各自均值的步调是否同步，本质是线性相关。单调秩次关系是斯皮尔曼的职责；相关不代表因果；离散程度则属于方差分析范畴。

Q3. 在计算肯德尔 Tau 系数时，核心的比较单元是什么？

单选题 · mid

  • A.单个样本与均值
  • B.任意样本组成的配对← 正确答案
  • C.所有样本的方差
  • D.每组样本的标准差

答案：B。肯德尔从全部样本中任取两个组成配对，统计两位裁判对这些配对“谁更好”的判断是否一致。它不像皮尔逊那样把每个样本与均值比较，而是基于两两配对展开逐对 PK。

Q4. 在一个数据集中加入一个“人类打分很高、自动指标打分却很低”的异常点后，下列说法正确的是？

单选题 · mid

  • A.皮尔逊受线性异常影响更大← 正确答案
  • B.斯皮尔曼受异常影响更大
  • C.肯德尔完全不受影响
  • D.三种方法完全不受影响

答案：A。异常值在分数尺度上偏离极大，会严重扭曲皮尔逊的均值与标准差计算。斯皮尔曼和肯德尔基于排名与配对关系，单点异常至多影响少量配对，因此影响较小。C 的“完全不受影响”过于绝对。

Q5. 在评估自动评测指标时，“人类一致性基线”指的是什么？

单选题 · mid

  • A.人类与机器评分的差值
  • B.人类评委之间的一致性← 正确答案
  • C.机器打分自身的稳定性
  • D.评测样本的总数量

答案：B。人类一致性基线衡量多位人类评委彼此之间打分的默契程度，它决定了自动指标相关性的统计上限。如果评委之间只有 0.6 的一致，自动指标相关性出现 0.9 就需要警惕标注偏差。

Q6. 斯皮尔曼秩相关在计算前，首先需要把原始分数转换成什么？

单选题 · hard

  • A.对数变换后数值
  • B.标准化后数值
  • C.排名次序数值← 正确答案
  • D.百分位序号值

答案：C。斯皮尔曼的核心就是先做秩变换（Rank Transform），把原始分数按从高到低转换成 1、2、3……的名次，再对名次序列做相关分析。对数变换和标准化都保留数值特征，百分位数是另一种分布变换，都不是斯皮尔曼的定义要求。

Q7. 如果一个自动评测指标与人类评分的肯德尔 Tau 为 0.85，最合理的解读是什么？

单选题 · easy

  • A.有85%的样本完全相同
  • B.配对判断的一致比例高← 正确答案
  • C.线性相关达到百分之85
  • D.排名完全相同没有差异

答案：B。肯德尔 Tau 接近 1 说明在大量两两配对中，自动指标与人类对“谁更好”的判断高度一致，但这不意味着 85% 的样本分数完全相同，也不代表线性相关为 0.85，更不能推出排名完全一致无差异。

Q8. 下列哪些做法可以提升“自动指标与人类相关性”这一结论的可信度？

多选题 · mid

  • A.扩大评测样本规模
  • B.加入人类评委间一致性分析
  • C.只用单条样本进行评估
  • D.混合使用多种相关性度量

答案：。扩大样本规模可以稳定相关系数的估计，加入人类一致性分析提供了上限参照，混合使用皮尔逊、斯皮尔曼、肯德尔可以从不同角度交叉验证。只用单条样本评估会导致相关性估计完全失效，是错误做法。

Q9. 关于皮尔逊、斯皮尔曼、肯德尔三种相关性度量，下列说法正确的有？

多选题 · hard

  • A.皮尔逊对线性关系敏感
  • B.斯皮尔曼基于秩次对异常更稳健
  • C.肯德尔适合小样本配对检验
  • D.三种方法度量完全相同

答案：。皮尔逊捕捉线性共变，对极端值敏感；斯皮尔曼基于秩次天然降低异常值影响；肯德尔基于两两配对，在小样本和逐对比较场景下检验特性更好。三种方法视角不同，结果也可能差异明显，D 说“完全相同”是错误的。

Q10. 当样本中存在大量并列排名时，哪种相关性度量最需要做平级排序处理？

单选题 · extreme

  • A.皮尔逊相关性
  • B.斯皮尔曼相关性← 正确答案
  • C.肯德尔Tau系数
  • D.简单方差分析

答案：B。斯皮尔曼在秩变换阶段遇到并列名次时，需要为并列项分配平均秩次，否则会扭曲排名差值。皮尔逊和方差分析不需要排名，肯德尔 Tau 本身对并列有专门的处理策略，但问题强调的是“做平级排序处理”这一秩变换步骤，正是斯皮尔曼特有的环节。