明月楼要开分店了。杜师傅想在店里添一位不知疲倦的帮厨——AI 学徒“小灶”。可小灶不会做菜，只会照葫芦画瓢：你给它看什么菜谱，它就学出什么味道。杜师傅琢磨，与其天天亲自示范，不如把品鉴团组织起来，系统记录“什么是好味道”：同一道菜做出两版，哪版更合店里的规矩？这些品鉴记录越扎实，小灶学出来的手艺越稳。这份品鉴记录，就是 AI 世界的“对齐数据集”。 在 AI 训练里，RLHF（基于人类反馈的强化学习）和 DPO（直接偏好优化）等对齐技术，吃的就是这类数据：一句提问配上多个回答，标注员选出更符合人类期待的答案。数据质量直接决定模型是乖巧可靠，还是满嘴胡话、暗藏偏见。这篇文章要讲的，就是如何像杜师傅组织品鉴团那样，系统化地设计偏好对、写标注指南、管一致性、配数据比例、查偏见、造数据、做验收——七道工序，炼出一份可靠的“品鉴记录”。

岗位关联

对齐数据集是 RLHF/DPO 训练的“口味基准”。掌握这套构建方法论，你就能从源头控制模型的安全性与有用性——这是对齐工程师、数据团队负责人绕不开的核心技能。

目录
  1. 可视化演示
  2. 偏好对设计
  3. 标注指南制定
  4. 标注一致性管理
  5. 数据平衡策略
  6. 偏见审查机制
  7. 合成数据生成
  8. 质量评估体系
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

动态演示AI对齐数据集构建方法论的核心机制，通过总览/传输/转换/输出四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

AI对齐数据集构建方法论：对齐数据 15.10.31.1 对齐数据 15.10.31.2 偏好对设 核心机制可视化 AI对齐数据集构建方法论整体架构与关键组件

偏好对设计

明月楼的品鉴桌上，同一道红烧肉端出两盘。一盘是学徒小灶按老方子烧的，另一盘是临时工抢火候烧的，杜师傅让品鉴团只回答一个问题：更认可哪一盘，为什么。他刻意不让人打分——因为“7 分”和“8 分”在不同人嘴里含义差得远，而“这盘赢过那盘”是稳定的判断题。这一对一盘的记录，就是 AI 对齐数据里最基础的单元：偏好对。

工程上，一个偏好对由同一提示词 x 下的两个候选响应组成，记作 (x, y_w, y_l)：y_w 是被标注员更认可的响应（chosen），y_l 是落败的那个（rejected）。相对判断之所以比绝对打分可靠，是因为它把“口味基准”从每个人脑子里搬到了两个人之间的比较上。RLHF 训练时，奖励模型要学的正是这种“谁更被偏爱”的隐含函数。

假设存在一个隐式的奖励评分 r(x, y) 给每个响应打分，那么人选择 y_w 而不是 y_l 的概率，可以用 Bradley-Terry 模型刻画：

就像品鉴团不止端两盘菜，还要多烧几个版本排序一样，工程上会给每个提示词生成 4 到 8 个候选做全排序，并记录标注员的置信度。信息越丰富，小灶学到的“口味曲线”就越细腻，不至于被一次偶然的胜负带偏。

P(yw≻yl∣x)=σ(r(x,yw)−r(x,yl)),σ(z)=11+e−z\displaystyle P(y_w \succ y_l \mid x) = \sigma\big(r(x, y_w) - r(x, y_l)\big), \quad \sigma(z) = \frac{1}{1 + e^{-z}}
这个公式把“人更偏爱 y_w”这件事，建模成“y_w 比 y_l 的隐式得分差”经过 sigmoid 压缩后的概率。通俗说：两盘菜的“好感分差”越大，评审选它的概率越接近 100%。
  1. 提示词 x用户发起的一句话请求，相当于“做一道红烧肉”的菜品需求。
    xx
  2. 两个候选响应同一提示下生成的两个回答，标注员在其中决出胜负。
    yw,yly_w, y_l
  3. 隐式奖励函数 r给每个响应打“好感分”的隐藏裁判，训练目标就是学会它。
    r(x,y)r(x, y)
  4. 得分差胜者与败者的好感分差值，差值越大，偏好越明显。
    r(x,yw)−r(x,yl)r(x, y_w) - r(x, y_l)
  5. sigmoid 映射把任意实数差值压到 0 到 1 之间，变成“人类选择胜者”的概率。
    σ(z)=11+e−z\sigma(z) = \frac{1}{1 + e^{-z}}

标注指南制定

十二位评审口味各异，有人觉得咸香是王道，有人偏爱清甜。杜师傅明白，必须发一本《品鉴手册》：色泽看什么、香气分几档、口感怎么描述，还附上金牌样例和翻车反例。手册越细，评审越不容易各说各话。AI 标注里这本手册，就叫“标注指南”。

标注指南把“偏好”从模糊印象变成可操作规则。主流指南围绕三个维度展开：有帮助性（回答是否切题、信息是否完整）、安全性（是否拒绝或妥善处理有害请求）、诚实性（是否不编造事实）。每个维度都要配锚点示例——一个明显的好例子、一个明显的坏例子；还要把处于灰色地带的“边界案例”单独拎出来讨论，否则标注员只能靠猜。

当指南用多维打分表时，还需要回答：怎么把各维度分数合成一个总偏好？常见做法是加权平均：

《品鉴手册》不是写完就封版的。就像餐厅推出新菜，手册要增加新的评判细则；标注指南也要随着模型暴露出的新问题持续迭代版本，并在每次改版后重新给标注员做校准。

S=∑i=1mwi⋅si∑i=1mwi\displaystyle S = \frac{\sum_{i=1}^{m} w_i \cdot s_i}{\sum_{i=1}^{m} w_i}
这就是“总分 = 各维度加权求平均”。安全维度的重要性权重若设为 0.6，帮助性设为 0.4，那么一条“回答漂亮但教人自残”的响应总分就会很低，自然输给“拒绝但不失礼貌”的响应。
  1. 维度数量 m指南中定义的评判维度总数，比如帮助性、安全性、诚实性。
    mm
  2. 第 i 维得分 s_i标注员对某一维度打的分数，比如安全性打 1 分、帮助性打 3 分。
    sis_i
  3. 第 i 维权重 w_i该维度的重要程度，由业务目标决定。
    wiw_i
  4. 分子加权求和把每个维度得分乘上权重再累加，体现“重要维度说了算”。
    ∑i=1mwi⋅si\sum_{i=1}^{m} w_i \cdot s_i
  5. 分母归一化除以权重总和，保证总分落在原始分数量纲内。
    ∑i=1mwi\sum_{i=1}^{m} w_i

标注一致性管理

同一道菜，老张说咸，老李说淡，这份品鉴记录就指挥不了小灶。杜师傅要用一把数字尺子量出评审之间的默契程度，而不是靠感觉。AI 标注中这把尺子，就是 Cohen's Kappa 一致性系数。

一致性是标注质量的“体温计”。两个标注者对同一批偏好对各打各的标签，如果他们的选择高度重合，说明指南被执行得很好；如果分歧很大，说明指南太模糊或有人没看懂。Cohen's Kappa 的价值在于：它扣除了“两个人瞎猜也可能蒙对”的成分，比单纯看“答对率”更诚实。

κ=po−pe1−pe,pe=∑cPA(c)⋅PB(c)\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}, \quad p_e = \sum_{c} P_A(c) \cdot P_B(c)

1. 实际一致率 p_o：两位标注者在所有标注样本上给出相同标签的比例。

pop_o

2. 随机一致率 p_e：假设两人各自按自己的标签分布瞎猜，碰巧一致的期望概率。

pep_e

3. 每个类别的碰巧一致：对任一类别 c，甲给出该类的比例乘以乙给出该类的比例。

PA(c)⋅PB(c)P_A(c) \cdot P_B(c)

4. 扣随机、比空间：分子是“超出随机的真实默契”，分母是“完全默契还有多大提升空间”。

po−pe1−pe\frac{p_o - p_e}{1 - p_e}

杜师傅每月安排一次“盲评演练”：同一批菜让评审重新品，算 Kappa。跌破阈值就召集校准会，把火候和咸淡的标准重新对齐；有争议的样本则进入仲裁队列，由资深评审一锤定音。标注团队的管理，靠的就是这套“测量—校准—仲裁”的循环。

数据平衡策略

如果品鉴记录里八CD是川菜，小灶学完只会做辣的。杜师傅按菜单结构配比记录：前菜、主菜、甜品，清淡与重口都要有。AI 数据同理——类别分布一旦失衡，模型就会“偏科”。

数据平衡解决的是“所见即所学”的偏科问题。安全类样本过多，模型会风声鹤唳、过度拒绝一切请求（over-refusal）；娱乐闲聊类过多，模型又油滑得不干正事。因此要在两个层面配比：场景覆盖（代码助手、客服、创作等使用场景都要有）和难度分层（简单样例再多，模型面对困难请求照样翻车）。落到采样环节，常用类别加权：

平衡不是平均主义。杜师傅不会让每道菜在记录里出现次数一模一样，而是按顾客的真实点单分布来配比。数据平衡的目标，同样是让模型见过的“世界”与真实使用场景吻合，而不是机械地拉平计数。

wc=NK⋅nc\displaystyle w_c = \frac{N}{K \cdot n_c}
这个公式让“样本少的类别”获得更大的采样权重。比如安全类 160 条、帮助类 40 条，两类时帮助类的权重是安全类的 4 倍，采样时帮它“补课”。
  1. 总样本量 N数据集中所有类别的样本总数。
    NN
  2. 类别数 K参与平衡的类别总个数，如安全、帮助、趣味、代码四类。
    KK
  3. 某一类的样本数 n_c类别 c 当前拥有的样本数量，决定它“缺不缺课”。
    ncn_c
  4. 加权采样权重 w_c采样时赋予类别 c 的抽中概率倍数，样本越少权重越大。
    wcw_c

偏见审查机制

评审团里藏着看不见的系统性口味：有人偏爱辣，有人总给师父的菜无条件高分。这些小偏好单看每一条都合理，攒成一本记录就会把小灶教歪。杜师傅的办法是三道关卡：有害筛查、价值审计、盲评复核。

数据偏见是指标注或生成过程中系统性的、可预测的错误倾向。第一道关卡有害内容筛查：用规则词表加模型打分，把包含暴力、歧视、违法内容的响应先过滤掉；第二道关卡价值倾向审计：检查偏好对是否夹带了站队和立场，比如对特定人群的刻板印象被标成“更优”；第三道关卡盲评复核：把菜名和作者盖住再审一遍，防止人情分和身份分。

筛查效果好不好，最怕的是“漏网”——有害样本没被抓住，混进数据集。用来衡量漏网程度的指标是召回率：

盲评就像把菜谱署名盖住再上桌，让评审只对味道说话。偏见审查不是一次过关就万事大吉——杜师傅每月换着花样查岗，持续抽样审计，因为数据一更新，新的偏见就可能悄悄溜进来。

Recall=TPTP+FN\displaystyle \text{Recall} = \frac{TP}{TP + FN}
召回率回答的问题是：“真正有害的样本里，我们抓住了多少？”它不关心你抓得准不准（那是精确率的事），只关心你漏没漏。对安全审查来说，漏网比误伤更可怕。
  1. 真正有害且被抓住 TP筛查系统正确标记为有害的样本数。
    TPTP
  2. 真正有害但漏掉 FN应被发现却溜过去的漏网样本数，是最危险的数字。
    FNFN
  3. 分母全部有害样本真有害样本的总量，被抓住的加漏掉的。
    TP+FNTP + FN
  4. 召回率比值被抓住的有害样本占全部有害样本的比例，越接近 1 越好。
    TPTP+FN\frac{TP}{TP + FN}

合成数据生成

人工品鉴太慢，一天记不了几十条。杜师傅想了个办法：让城里几位熟手大厨先按新菜意各烧一批，评审再从里面挑能用的。这在 AI 里叫“合成数据生成”——让领先的 LLM 当临时大厨，先产出大量候选，人类再当评审筛选。

合成数据是解决样本稀缺的扩量杠杆。常见招式有三：改写（换个说法保留语义）、扩写（把短提示扩成多种变体）、噪声注入（插入错别字、变换句式，增加鲁棒性）。但合成的响应天然带着生成模型的偏见和风格惯性，因此必须有“保真筛选”环节：先用规则自动过滤明显不合格的，再让标注员抽检把关。

噪声注入在连续空间里可以写成：

合成数据相当于请别的厨师代烧菜：速度快、花样多，但也可能把别人的口味惯性带进来。所以小灶的“课本”里，合成数据永远只当粗加工原料，必须经过人工抽检和一致性复核，确认合格才准入库。

x′=x+ε,ε∼N(0,σ2)\displaystyle x' = x + \varepsilon, \quad \varepsilon \sim \mathcal{N}(0, \sigma^2)
意思是：新样本 x′ 等于原样本 x 加上一个服从正态分布的微小扰动 ε。扰动幅度由 σ 控制——太小没效果，太大则面目全非。在文本里，这个“扰动”就是同义改写、插入噪声词这类操作。
  1. 原始样本 x一条已经验证过质量的真实验证样本，当作种子。
    xx
  2. 噪声扰动 ε人为注入的随机变化，在文本任务里体现为改写或插词。
    ε\varepsilon
  3. 正态分布扰动值的取值服从以 0 为中心的高斯分布，多数扰动轻微，少数较大。
    N(0,σ2)\mathcal{N}(0, \sigma^2)
  4. 标准差 σ控制扰动强度，σ 越大，新样本离原样本越远。
    σ2\sigma^2
  5. 增强后样本 x′注入扰动后生成的新样本，语义大体保留但表达变化。
    x′x'

质量评估体系

记录装订成册前，杜师傅按比例抽几十条亲口尝：咸淡合不合规矩、有没有夹带私货。达标才签字，把册子交给小灶当课本。AI 数据集上线前同样要过这道“验收闸门”。

质量评估的第一步是定义指标：偏好一致率（重复标注的吻合程度）、有害率（含违规内容的样本占比）、无答案率（答非所问的占比）、Kappa 值等。第二步是抽样检验——数据量太大不可能全查，按比例抽取样本做统计推断，判断整批数据是否达标。

抽样的统计依据是比例的置信区间：

质量评估不只是闸门，更是闭环。发现某类问题率偏高，就回炉补数据、修指南、再培训标注员。小灶的课本因此一版比一版厚实，明月楼的口味也一版比一版稳定。

p^±zα/2p^(1−p^)n\displaystyle \hat{p} \pm z_{\alpha/2} \sqrt{\frac{\hat{p}(1 - \hat{p})}{n}}
这是“用样本合格率估计总体合格率”的经典公式。抽 40 条有 38 条合格，p̂ = 0.95，算出来的区间若覆盖目标阈值（比如 90%），这批数据就放行；否则回炉重造。
  1. 样本合格率 p̂抽出来的 n 条里合格样本所占比例。
    p^\hat{p}
  2. 样本量 n本次抽检验收的样本条数，决定估计的精度。
    nn
  3. 临界值 z对应置信水平的常数，95% 置信度时取 1.96。
    zα/2z_{\alpha/2}
  4. 标准误合格率估计的波动幅度，样本越大波动越小。
    p^(1−p^)n\sqrt{\frac{\hat{p}(1 - \hat{p})}{n}}
  5. 置信区间总体合格率以 95% 概率落在的区间，区间下界高于阈值才算过关。
    p^±zα/2p^(1−p^)n\hat{p} \pm z_{\alpha/2} \sqrt{\frac{\hat{p}(1 - \hat{p})}{n}}

AI 应用场景

大模型公司的 RLHF 数据中台

阶段：对齐训练前置的数据准备与质量管控

解决的问题：传统做法靠工程师个人经验攒提示词和答案，规模小、口味杂，模型时好时坏。对齐数据集方法论提供从偏好对设计到质量验收的全链路流水线，让数据生产从“手工作坊”变成“标准工厂”。

具体案例：某团队训练安全助手时，发现模型总爱长篇大论甚至编造事实。他们用标注指南统一 50 名标注员的尺度，把 Kappa 稳定在 0.75 以上；用盲评复核筛掉 12% 夹带立场的样本；再按安全与帮助 7:3 加权采样。RLHF 之后，模型拒答率下降，且不再一遇到敏感词就过度拒绝。

标注外包平台的千人工厂

阶段：规模化标注运营与质量监控

解决的问题：上千名标注员水平参差、流动性大，返工率居高不下。一致性管理方法让平台能用数字说话：谁需要培训、哪批数据要返工，一目了然。

具体案例：一家外包平台为多个大模型客户做偏好标注。他们设置锚点题库做入场考核，每天随机抽取 5% 的已完成任务做重复标注并计算 Kappa，争议样本进仲裁队列。三个月后，整体一致性从 0.52 提升到 0.74，客户验收通过率大幅上升。

垂直领域客服机器人的数据增强

阶段：领域数据增强与对齐优化

解决的问题：金融、医疗等垂直领域的高质量问答样本稀缺，纯人工采集周期长达数月。合成数据生成配合抽检，能把周期压缩到几周，同时控制合规风险。

具体案例：某金融客服机器人先用 LLM 把标准化话术扩写成语料，生成 5 万条合成偏好对；再人工抽检 20%，发现并过滤了 3% 承诺收益类的违规话术；抽样验收显示合格率 98%。机器人上线后，合规投诉下降 60%。

Python 演示

python57 行
# -*- coding: utf-8 -*-"""对齐数据集质量体检：一致性、平衡性、偏见筛查、抽样验收"""import mathimport random random.seed(42)  def cohen_kappa(labels_a, labels_b, k):    """计算两个标注者的 Cohen Kappa，k 为类别数"""    n = float(len(labels_a))    obs = sum(1 for i in range(len(labels_a)) if labels_a[i] == labels_b[i]) / n    p_a = sum(labels_a.count(c) / n * labels_a.count(c) / n for c in range(k))    p_b = sum(labels_b.count(c) / n * labels_b.count(c) / n for c in range(k))    exp = p_a * p_b    if exp == 1.0:        return 1.0    return (obs - exp) / (1.0 - exp)  def balance_weights(category_counts):    """类别加权采样权重 w_c = N / (K * n_c)"""    n_total = float(sum(category_counts.values()))    k = float(len(category_counts))    return {c: n_total / (k * cnt) for c, cnt in category_counts.items()}  def screen_recall(tp, fn):    """偏见筛查召回率 Recall = TP / (TP + FN)"""    return tp / float(tp + fn)  # 1. 模拟 100 个偏好对，两位标注者各自给出选择n_pairs = 100true_labels = [random.randint(0, 1) for _ in range(n_pairs)]annotator_a = list(true_labels)annotator_b = [lab if random.random() < 0.82 else 1 - lab for lab in true_labels] kappa = cohen_kappa(annotator_a, annotator_b, 2)print("标注一致性 Kappa: %.3f" % kappa) # 2. 类别分布与加权采样权重counts = {"safety": 160, "helpfulness": 40}weights = balance_weights(counts)print("类别采样权重:", {c: round(w, 3) for c, w in weights.items()}) # 3. 有害内容筛查效果recall = screen_recall(tp=8, fn=2)print("有害筛查召回率: %.2f" % recall) # 4. 抽样验收：抽 40 条，38 条合格sample_n = 40sample_ok = 38p_hat = sample_ok / float(sample_n)margin = 1.96 * math.sqrt(p_hat * (1.0 - p_hat) / sample_n)print("合格率估计: %.2f (95%%置信区间 %.2f ~ %.2f)"      % (p_hat, p_hat - margin, p_hat + margin))
目的：用模拟数据走一遍对齐数据集的质量体检流程——计算标注一致性 Kappa、类别加权采样权重、偏见筛查召回率，以及抽样验收的置信区间，输出一份可直接读的质量报告。
  1. def cohen_kappa(labels_a, labels_b, k):定义一致性度量函数，把实际一致率扣除随机一致率
  2. obs = sum(1 for i in range(len(labels_a)) if labels_a[i] == labels_b[i]) / n计算观测一致率 p_o
  3. exp = p_a * p_b计算随机一致率 p_e，即两人各自分布碰巧吻合的期望
  4. return {c: n_total / (k * cnt) for c, cnt in category_counts.items()}套用加权公式为每个类别算采样权重，少样本类权重更大
  5. annotator_b = [lab if random.random() < 0.82 else 1 - lab for lab in true_labels]模拟第二位标注员约 82% 的准确率，制造可观测的噪声
  6. margin = 1.96 * math.sqrt(p_hat * (1.0 - p_hat) / sample_n)计算 95% 置信水平下的抽样误差，判断批次是否达标

常见误区

误区“只要量够大，模型肯定能学会对齐。别的团队用 10 万条，我上 100 万条，效果一定更好。”

正解对齐效果由信号质量决定，不是数量。100 万条充满噪声和偏见的数据，不如 10 万条高一致性、分布平衡的数据。噪声会增大训练方差，让模型学到错误的偏好——就像一屋子互相矛盾的品鉴记录，只会把学徒教得越来越糊涂。质量永远排在数量前面。

为何常见：深度学习中“数据越多越好”的直觉深入人心，却忽略了偏好数据特有的标注噪声与系统性偏差问题。

误区“标注时直接二选一就行，不用搞什么排序和置信度，反正 RLHF 只看对比结果。”

正解二选一只是最粗的粒度。同一提示词下生成多个候选做全排序，能提供更丰富的相对信息；DPO 等算法还能利用胜者与败者的差距幅度。记录标注置信度，还能在训练时给模糊样本降权。只问“谁赢”，会丢掉大量细粒度信号，像只记冠军不记亚军一样可惜。

为何常见：教程常把偏好对简化成“胜者/败者”二元组，让初学者误以为二元胜负就是全部。

误区“两位标注员一致性 0.9，说明这批数据质量非常高，可以直接拿去训练。”

正解Kappa 只度量标注者之间的相对默契，度量不了系统性偏差。如果所有人都按同一个错误偏见标注——比如都偏爱某种腔调、都忽略安全风险——Kappa 依然很高。必须结合盲评复核、价值倾向审计和外部校验。就像评审全票通过一道菜，不代表这道菜真的好吃。

为何常见：一致性是最容易量化的指标，人们自然把它当成质量的代名词，忽略了它测不到的部分。

误区“反正有 LLM 了，让大模型自己生成偏好对，人工只要瞄一眼就行，甚至可以不看。”

正解合成数据会把生成模型的偏见、幻觉和风格惯性原样复制进训练集，而且错误模式高度同源，比随机噪声更隐蔽。正确姿势是“合成扩量 + 规则过滤 + 人工抽检 + Kappa 复核”四步结合，把合成数据当粗加工原料，绝不当成品。

为何常见：合成管线跑得快、成本低，demo 效果又漂亮，很容易让人高估它的可靠性。

误区“安全类 5000 条、帮助类 5000 条，数量完全一样就是平衡了，肯定没问题。”

正解平衡的目标是让数据分布匹配真实使用场景和业务目标，而不是机械地让数字相等。还要看场景覆盖和难度分层：如果全是简单样例，即便数量相等，模型面对困难请求照样翻车。加权采样的权重应该来自目标需求，而非单纯计数。

为何常见：“平衡”的字面意思容易让人联想到均匀分配，忽略了“覆盖难度与场景”这层更深的含义。

面试题

Q1. 在偏好对 (x, y_w, y_l) 中，y_w 表示的是？

单选题 · easy

  • A.用户输入的原始提示词
  • B.标注员更认可的响应← 正确答案
  • C.模型随机生成的响应
  • D.被评估淘汰的响应

答案：B。y_w 是 winner 的缩写，代表被标注员更认可、标注为胜出的响应；y_l 代表落败方。提示词是 x，随机生成的响应不一定是胜者。对照品鉴记录，y_w 就是评审选中的那盘菜。

Q2. 为什么偏好标注优先用“两两比较”而不是单独打分？

单选题 · easy

  • A.比较题占用的空间更小
  • B.两两比较收集数据更快
  • C.相对判断跨人更稳定← 正确答案
  • D.打分需要更资深专家

答案：C。不同人对“7 分还是 8 分”的尺度理解差异很大，绝对分数不可跨人比较；而“哪盘更好”是相对判断，在跨标注员时更稳定。两两比较的核心优势是稳定性，而非速度或空间。

Q3. Cohen's Kappa 系数核算时，kappa 一般达到多少表示一致性可接受？

单选题 · mid

  • A.低于 0.2 不可接受
  • B.达到 0.4 左右即可
  • C.高于 0.6 视为可用← 正确答案
  • D.必须达到 1.0 才行

答案：C。实务中 κ > 0.6 表示一致性可接受，κ > 0.8 表示良好。0.4 左右说明分歧较大、需要校准；强求 1.0 不现实，因为标注永远存在合理的个体差异。Kappa 是体温计，不是满分考卷。

Q4. 类别加权采样 w_c = N/(K·n_c) 的作用是？

单选题 · mid

  • A.让模型偏向高频类别
  • B.平衡类别间样本权重← 正确答案
  • C.删除低频类别样本
  • D.提升标注者一致性

答案：B。该公式让样本量少的类别获得更大的采样权重，从而平衡各类别对训练的贡献。它不删数据、不管标注者，也不会让模型偏向高频类别——恰恰相反，它是给低频类别“补课”。

Q5. 偏见审查中，召回率 Recall 衡量的是？

单选题 · mid

  • A.检对样本中真有害占比
  • B.真有害样本被抓住比率← 正确答案
  • C.审查通过的样本总数
  • D.争议样本的仲裁结果

答案：B。Recall = TP/(TP+FN) 回答“真正有害的样本里抓住了多少”，衡量漏网程度。A 描述的是精确率（Precision）；C 和 D 与召回率无关。对安全审查，漏网比误伤更危险。

Q6. 合成数据生成的最大风险是？

单选题 · easy

  • A.生成速度过于缓慢
  • B.存储空间占用太大
  • C.标注员看不懂内容
  • D.放大模型原有偏见← 正确答案

答案：D。合成数据由 LLM 生成，会继承生成模型的偏见、幻觉和表达惯性，且错误模式高度同源，混进数据集后极难察觉。速度、存储、可读性都不是主要风险。

Q7. 用抽样验收评估批次质量时，置信区间宽度主要受什么影响？

单选题 · hard

  • A.样本量与合格率高低← 正确答案
  • B.标注者数量和经验
  • C.提示词语言和长度
  • D.服务器的网络延迟

答案：A。置信区间宽度由样本量 n 和样本合格率 p̂ 决定——n 越大区间越窄，p̂ 越接近 0.5 区间越宽。标注者经验、提示词形态、网络延迟都不会进入该统计公式。

Q8. 标注指南通常应包含哪些内容？

多选题 · mid

  • A.评判维度的明确定义← 正确答案
  • B.锚点示例与边界案例← 正确答案
  • C.标注平台服务器配置
  • D.每个维度的打分权重← 正确答案

答案：ABD。标注指南的三大件是维度定义、锚点示例和边界案例说明，外加各维度权重等合成规则。服务器配置属于工程运维，与标注口径无关。

Q9. 偏见审查机制的三道防线包括？

多选题 · mid

  • A.标注者薪资上调方案
  • B.有害内容自动筛查← 正确答案
  • C.价值倾向定向审计← 正确答案
  • D.隐藏身份盲评复核← 正确答案

答案：BCD。三道防线依次是：用规则和模型筛查有害内容、审计偏好对是否夹带价值立场、用盲评隐藏身份防止人情分。薪资方案是运营管理手段，与审查机制无关。

Q10. 关于对齐数据集质量评估，正确的做法是？

多选题 · extreme

  • A.抽样检验并用置信区间估计合格率← 正确答案
  • B.只抽样一次不再复查
  • C.建立问题反馈闭环← 正确答案
  • D.定期修订标注指南← 正确答案

答案：ACD。质量评估是持续闭环：抽样检验用置信区间判断批次是否达标，发现问题就回炉修指南、再培训标注员，并定期更新指南。只抽样一次不再复查，违背了反馈迭代的基本思想。