AI对齐与价值学习：人类反馈数据收集

CH-15-10-030·约 19 分钟·AI安全伦理与合规·更新 2026-08-12

想象你经营一家餐厅，主厨是位天才，能把分子料理玩得出神入化，却有一个致命问题：他完全不知道食客真正想要什么。他按自己的审美做菜，结果一半顾客吃完皱眉。于是你请来一群品鉴员，让他们对同一道菜的两个版本反复试吃、投票、写评语。渐渐地，你攒出一本《顾客口味图鉴》：哪道菜更受欢迎、哪种调味让人上瘾、哪些创意彻底翻车。后厨据此调整配方，餐厅口碑终于扶摇直上。在这个故事里，主厨就是大模型，他端出的“菜”就是模型输出，而品鉴员的每一次举手投足——选中 A 菜而不是 B 菜、给这道菜打 4 分而那道打 2 分——就是你即将学习的“人类反馈数据收集”。在 AI 对齐工程中，模型生成的内容并不总是符合人类偏好，我们需要一片精准记录的“口味数据”来告诉模型：什么是对的、什么是更好的。这正是 RLHF 等对齐方法的起点，也是 AI 安全研究中无法绕开的地基。

岗位关联

掌握人类反馈数据收集，是进入 RLHF、DPO 等对齐方法的第一步；你对数据质量、多样性、伦理风险的判断力，直接决定能否在 AI 安全与对齐方向做出可靠成果。

可视化演示
反馈数据价值——主厨为什么需要品鉴员
反馈数据形态——食客的三种评价方式
采集流程规范——一场品鉴会的组织之道
标注任务设计——品鉴表怎么设计
质量控制——校准品鉴员的嘴
多样性与偏差——不能只请本地食客
对齐方法联动——从人工品鉴到 AI 品鉴
工程与伦理——品鉴体系的合规与可持续
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

展示偏好数据构建管道、标注员一致率IAA质量评估及奖励模型训练过程，支持三模式切换交互。

本节配有交互动效（进入视口后自动加载，约 3KB）。

偏好数据构建管道提示采样：覆盖多场景多难度梯度双响应：模型生成A/B两个回答标注员：比较偏好构建偏好对 preference = {(prompt, chosen, rejected)} 多阶段流水线构建RLHF训练数据

反馈数据价值——主厨为什么需要品鉴员

天才主厨总觉得自己做的菜无可挑剔，直到他看到顾客在评论区抱怨“太咸”“太油”。模型也是一样：语言模型能流畅造句、写代码、讲笑话，但它不知道哪些回答真正符合人类的心意——是更安全的、更有帮助的，还是更尊重用户的。这种“不知道”无法靠模型自己解决，必须从外部获得信号，这就是“人类反馈”。

在 AI 术语里，最经典的反馈形态是“偏好对”：给定同一个提示词，模型生成两个候选回答，请标注员挑出更好的一方。大量这样的选择汇聚成“偏好数据集”，成为训练奖励模型的燃料。奖励模型类似于一位“助理品鉴师”：它学会人类的选择规律后，就可以给任意回答打分，这个分数就是“奖励信号”，后续的强化学习用它来更新模型。

为什么从“人直接改模型”变成“人先打分、模型再学”？因为人类的价值观复杂到无法用规则写清楚。就像你无法用三句话总结“什么叫好吃”，只能靠一次次选择来传递口味。Bradley-Terry 模型就是这个过程的数学化表达——它把“选择”变成了概率：

回到餐厅的故事：没有品鉴员的《口味图鉴》，主厨只能闭门造车；没有偏好数据集，模型只能“自信地胡说”。反馈数据的价值，就在于它把人类“不可言说的偏好”变成了可计算的信号，这是整个对齐工程的第一块基石。

\displaystyle P(A \succ B) = \frac{e^{s_A}}{e^{s_A} + e^{s_B}}

这个公式好比一场“拉票赛”：候选 A 和 B 各拿一张票数牌 $s_A$ 和 $s_B$，谁的牌面更大，赢面就更高。

计算票数指数把每个候选的得分取指数，保证结果永远为正，不会出现负数票。
$e^{s_A}, \quad e^{s_B}$
归一化成概率用 A 的指数值除以两人指数之和，得到 A 胜出的概率。
$\frac{e^{s_A}}{e^{s_A} + e^{s_B}}$
分数差决定胜率当 $s_A$ 比 $s_B$ 大得越多，$P(A \succ B)$ 就越接近 1。
$\lim_{s_A - s_B \to +\infty} P(A \succ B) = 1$

反馈数据形态——食客的三种评价方式

食客表达意见的方式有很多种：有人直接打星级，有人把几道菜排出名次，还有人写下长篇点评。对应到 AI 反馈收集中，就是三种主流数据形态：绝对评分、相对排序和自由文本。

绝对评分让标注员给单个回答打 1～5 分，执行简单、成本低，但每个人的“手松手紧”不一样——有人觉得 3 分就算好，有人 4 分才勉强认可。相对排序则让标注员在多个回答中挑优或排出顺序，不依赖绝对尺度，因此更稳健，但一次排太多选项会让人崩溃。自由文本能捕捉细颗粒度的批评，比如“第二段太啰嗦”，却最难标准化成训练信号。

实际项目中常用 z-score 把不同评委的评分“拉齐”，消除个人尺度差异：

餐厅菜单上通常同时印着“星级”和“顾客点评”：星级适合快速比较，点评适合传达细节。三种反馈形态各有分工，聪明的主厨不会只盯着一种评价方式，AI 工程师同样需要根据任务场景组合使用评分、排序与文本。

\displaystyle z_i = \frac{x_i - \mu}{\sigma}

这相当于把每个评委的评分先减去他自己的平均分，再除以他自己的波动幅度，让不同评委的分数有可比性。

计算个人均分先求出该评委所有评分的平均值 $\mu$，代表他的“手松紧”基准。
$\mu = \frac{1}{n}\sum_{i=1}^{n} x_i$
计算波动程度求出标准差 $\sigma$，衡量他打分时上下浮动的幅度。
$\sigma = \sqrt{\frac{1}{n}\sum_{i=1}^{n}(x_i - \mu)^2}$
标准化每个分数用原分减去均值再除以标准差，得到统一的 z 分数。
$z_i = \frac{x_i - \mu}{\sigma}$

采集流程规范——一场品鉴会的组织之道

一场成功的品鉴会不是随便请几个朋友来吃一顿就完事，它需要明确品鉴对象、邀请合适的评委、事后复核打分表。人类反馈数据采集同样遵循三段式流程：任务定义、标注员招募、质检机制。

任务定义阶段，工程师要确定“问什么、比什么”：设计提示词、生成候选回答、定义标注规则。标注员招募阶段，要选择合适的平台和人选，进行培训和试标。质检机制则是数据入库前的最后一道闸门——用一致性指标评估不同标注员是否“英雄所见略同”。

Cohen's Kappa 是评估两位标注员一致性的经典工具。它回答了一个关键问题：两个人的一致，有多少是真实共识，又有多少只是碰巧蒙对？

一场没有 QA 的品鉴会，可能被一两个走神的评委带偏整本《口味图鉴》。同样，Kappa 这类指标帮助 AI 团队把好数据入库的关口，让后续对齐训练建立在可靠的反馈之上。

\displaystyle \kappa = \frac{p_o - p_e}{1 - p_e}

Kappa 就像在问：“两位评委 70% 的判罚相同，但如果他们闭着眼睛瞎猜，也能蒙对 40%，那真正的共识其实只有一半。”

计算实际一致率统计两位标注员在全部样本上真正给出相同标注的比例。
$p_o = \frac{\text{相同标注的样本数}}{\text{总样本数}}$
计算期望一致率根据两人各自的标注习惯，算出他们纯靠随机也能一致的概率。
$p_e = \sum_{c} p_{1c} \times p_{2c}$
去除随机因素用实际一致减去随机一致，再除以“理论上可能达到的最大一致”。
$\kappa = \frac{p_o - p_e}{1 - p_e}$

标注任务设计——品鉴表怎么设计

你给品鉴员的打分表如果写着“请评价这道菜”，他大概率会一脸茫然：评价哪方面？用什么标准？和什么比？标注任务设计的本质，就是写一张清晰、可执行的“品鉴表”。核心原则有三条：指令清晰、控制选项数量、提供示例引导。

指令清晰要求任务说明直白无歧义，比如“请选择更符合安全规范的回答，忽略风格差异”。控制选项数量是因为人类工作记忆有限——一次面对 10 个候选输出时，标注员会从认真比较变成随手乱点。示例引导则是给标注员看 3～5 个“标准答案”式的示范，帮他们校准内心尺度。许多平台还会混入注意力检查题，防止有人蒙混过关。

为什么候选输出通常控制在 2～4 个？用排列数就能解释：

一张设计良好的品鉴表，能让品鉴员在 10 秒内做出高质量判断；一份语焉不详的标注任务，则会让整个数据集报废。任务设计看似琐碎，实则是数据质量的源头。

\displaystyle |\Omega| = N! = N \times (N-1) \times (N-2) \times \cdots \times 1

如果让标注员给 5 个回答排出完整名次，他要做的比较次数是 120 种排列里的取舍；而 2 选 1 只需要判断一次。选项越多，认知负担呈阶乘级暴涨。

全序排列数量N 个候选输出的所有可能名次排列记为 $|\Omega|$。
$|\Omega| = N!$
乘法计数原理第一名有 N 种可能，第二名剩 N-1 种，依次相乘。
$N! = N \times (N-1) \times (N-2) \times \cdots \times 1$
观察增长趋势$3! = 6$ 还不算多，但 $6! = 720$，$10! = 3628800$，很快超出人类承受范围。
$3! = 6, \quad 6! = 720, \quad 10! = 3628800$

质量控制——校准品鉴员的嘴

众口难调是品鉴世界的常态：有人偏爱酸甜，有人无辣不欢。更麻烦的是，个别品鉴员会疲劳、走神，甚至为了赶工胡乱打分。质量控制要做的，不是消灭个体差异，而是识别和修正异常。

常见的做法分三层：第一层用一致性指标（Kappa 等）筛选出“和大家想不到一块”的标注员；第二层用离群检测算法找出明显偏离的标注样本；第三层对争议样本组织仲裁——让多位资深标注员讨论出一个最终答案。MAD（中位数绝对偏差）是第二层里常用的离群检测工具：

餐厅的经验同样如此：与其请一百个随意打分的临时工，不如训练十个标准统一的专业品鉴员。质量控制的目的不是追求“绝对正确”，而是让数据达到“可用的共识”。

\displaystyle \mathrm{MAD} = \mathrm{median}\left(\left|x_i - \mathrm{median}(X)\right|\right)

它回答的是：“这批标注结果里，有多少样本离大多数人的中位判断特别远？”那些远得离谱的点，往往就是需要复查的异常样本。

找到全体中位数先把所有标注值排序，取正中间那个数，它对极端值不敏感。
$\mathrm{median}(X)$
计算绝对偏差每个标注值减去中位数后取绝对值，得到“偏离距离”。
$\left|x_i - \mathrm{median}(X)\right|$
对偏差再取中位数这些偏离距离的中位数就是 MAD，比均值更抗干扰。
$\mathrm{MAD} = \mathrm{median}\left(\left|x_i - \mathrm{median}(X)\right|\right)$

多样性与偏差——不能只请本地食客

如果品鉴团全是无辣不欢的四川人，餐厅可能会砍掉所有清淡菜品，失去整个不吃辣的客群。AI 系统的用户分布远比一场品鉴会复杂，反馈数据若只来自单一群体，模型就会带着偏见“偏科”。

多样性至少包含三个维度：群体覆盖——标注员需涵盖不同地域、语言、文化背景；场景均衡——提示词要覆盖闲聊、编程、医疗、法律等不同任务类型；输出风格——回答的详细程度、语气、格式都要在候选池里出现。如果某个群体只占数据集的 1%，模型几乎学不到他们的偏好，甚至会主动忽略他们的表达。

用熵可以量化这种“分散程度”：

#### 逐字解析

1. 统计各群体占比：把数据集按人群或场景分成 n 类，计算每类比例。

$p_i = \frac{\text{第 i 类样本数}}{\text{总样本数}}$

2. 计算单个信息量：每个占比的负对数表示“看到这一类样本时获得的信息量”，稀有类别贡献更大。

$-\log_2 p_i$

3. 加权求和得熵：把每个类别信息量按占比加权相加，得到整体分布的多样性。

$H(P) = -\sum_{i=1}^{n} p_i \log_2 p_i$

主厨若只听一类食客的话，餐厅迟早窄化成小圈子食堂。AI 工程师在收集反馈数据时保持多样性的警觉，本质上是在为“所有人的 AI”投票。

\displaystyle H(P) = -\sum_{i=1}^{n} p_i \log_2 p_i

如果把数据集按不同人群划分成 n 块，每块的占比是 $p_i$，那么熵越大，说明数据分布越均匀；熵越小，说明某个人群“垄断”了话语权。

对齐方法联动——从人工品鉴到 AI 品鉴

早期餐厅只能靠真人评委，后来有人想到：能不能让 AI 先当一轮评委，再让人类抽查？再后来，干脆把好评菜谱直接编进主厨手册。这就是 RLHF、RLAIF 和 DPO 的演进故事。

RLHF 是经典路线：用人类偏好数据训练奖励模型，再用强化学习微调策略模型。RLAIF 则用强大的 AI 模型生成偏好判断，人类只做抽样审核，大幅降低标注成本。DPO 更激进——跳过奖励模型，直接用偏好对做监督式优化，让策略模型在“更被喜欢”的方向上更新。三者共享同一个地基：高质量的偏好数据。

DPO 的简化损失函数可以一窥其核心思想：

从真人评委到 AI 评委，再到直接复用菜谱，方法的“人工含量”不断下降，但每一代方法都离不开最初那批标注员留下的偏好数据。人类反馈数据收集，因此成为对齐技术演进的常青地基。

\displaystyle \mathcal{L}_{\mathrm{DPO}} = -\log \sigma\left(\beta\left(\log \frac{\pi_\theta(y_w \mid x)}{\pi_{\mathrm{ref}}(y_w \mid x)} - \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\mathrm{ref}}(y_l \mid x)}\right)\right)

它比较的是“新模型在胜者回答上的相对优势”与“在败者回答上的相对劣势”，差距越大，损失越小。

计算两个对数似然比分别求出当前策略 $\pi_\theta$ 相对参考策略 $\pi_{\mathrm{ref}}$ 在胜者（$y_w$）和败者（$y_l$）回答上的对数似然比。
$\log \frac{\pi_\theta(y_w \mid x)}{\pi_{\mathrm{ref}}(y_w \mid x)}, \quad \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\mathrm{ref}}(y_l \mid x)}$
相减得到隐式奖励差用胜者项的比值减去败者项的比值，再乘以温度系数 $\beta$。
$\beta\left(\log \frac{\pi_\theta(y_w \mid x)}{\pi_{\mathrm{ref}}(y_w \mid x)} - \log \frac{\pi_\theta(y_l \mid x)}{\pi_{\mathrm{ref}}(y_l \mid x)}\right)$
Sigmoid 与负对数把差值送入 sigmoid 后取负对数，作为待最小化的损失。
$\mathcal{L}_{\mathrm{DPO}} = -\log \sigma(\mathrm{优势差})$

工程与伦理——品鉴体系的合规与可持续

一家好餐厅要长期经营，光靠口味还不够：品鉴员要有合理报酬，顾客隐私要受保护，菜谱版本要可追溯。人类反馈数据收集的工程化与伦理化，正是对齐工作能否走向产业化的关键。

工程层面，团队需要搭建标注管理工具链，对数据集做版本管理，让每次模型更新都能追溯到具体的数据批次。伦理层面，标注员的劳动权益常被忽视——长时间重复性标注会导致疲劳和质量下降，合理的工时与薪酬设计既是道德要求，也是质量保障。数据隐私同样重要：标注样本中可能包含用户的敏感信息，必须先做脱敏处理。k-匿名是常见的隐私保护要求：

品鉴体系只有做到可持续，餐厅才能十年如一日地推出好菜。同样，只有兼顾工具效率、标注员福祉和用户隐私，人类反馈数据收集才能支撑 AI 在安全与对齐之路上走得更远。

\displaystyle |G_j| \geq k

它规定：任何一组具有相同敏感属性的记录，在数据集中至少要出现 k 次，让攻击者无法把某条记录单独识别到具体的人。

划分等价组把所有记录按敏感属性（如年龄、地区）分组，每组记为 $G_j$。
$G_j = \{ \text{具有相同敏感属性的记录} \}$
统计组内记录数计算每个等价组中记录的条数。
$|G_j|$
施加匿名约束要求每个等价组的记录数都不少于 k，这样才能保证个体不可辨识。
$|G_j| \geq k$

AI 应用场景

电商客服机器人的价值观校准

阶段：数据准备与标注

解决的问题：客服机器人回复生硬、推诿，甚至对情绪激动的用户说出冒犯性的话。传统方式靠人工审核规则维护，规则稀疏且维护成本极高。

具体案例：某电商平台收集了大量历史客服对话，从同一用户问题下采样两个候选回复，外包给标注团队做 A/B 偏好选择，同时用黄金题（已知正确答案的样本）筛查低质量标注。收集到的 50 万条偏好对用于训练奖励模型，再通过 RLHF 微调客服模型，使“有礼貌地拒绝退款但提供替代方案”这类优秀行为被稳定复现。

开源模型的对齐数据众包平台

阶段：众包数据采集与质检

解决的问题：创业公司没有大厂的人力财力，难以自建标注团队。传统方式雇佣少量实习生，标注效率低，覆盖度不足。

具体案例：一家开源模型团队搭建了众包标注平台，把“安全偏好排序”任务拆分为 5 分钟一块的微任务，面向多国用户发放。平台内置注意力检查题和一致性实时监控，Kappa 低于阈值的标注员会被暂停且数据打回。最终在 3 周内获得 10 万条多语言偏好数据，支撑模型完成对齐微调。

用 RLAIF 扩展人类偏好数据集

阶段：模型辅助数据生产

解决的问题：纯人工标注偏好数据存在瓶颈：成本高、速度慢，难以覆盖长尾场景。传统方式不断扩充标注团队，边际收益递减。

具体案例：某大模型团队先收集 2 万条高质量人类偏好种子数据，然后用强模型对同一提示生成多个回答并投票打分，人工仅抽检 10% 的 AI 标注结果。扩展后的偏好数据集规模达 20 万条，送入 DPO 训练后在人类盲评中胜率提升 7 个百分点。

Python 演示

python34 行

import numpy as np  def sigmoid(x):    return 1.0 / (1.0 + np.exp(-x))  def main():    # preference_pairs: (winner, loser) 表示标注员认为 winner 更优    preference_pairs = [        (2, 0), (2, 1), (1, 0), (3, 0), (2, 3),        (3, 1), (4, 2), (4, 3), (4, 0), (1, 4),    ]    n_items = 5    scores = np.zeros(n_items)    lr = 0.3    epochs = 500     for _ in range(epochs):        grad = np.zeros(n_items)        for w, l in preference_pairs:            p = sigmoid(scores[w] - scores[l])            grad[w] += 1.0 - p            grad[l] -= 1.0 - p        scores += lr * grad / len(preference_pairs)     ex = np.exp(scores - scores.max())    probs = ex / ex.sum()    for idx in range(n_items):        print(f"item {idx}: score={scores[idx]:.3f}, prob={probs[idx]:.3f}")  if __name__ == "__main__":    main()

目的：用 Bradley-Terry 模型从成对偏好数据中学习每个候选的奖励分数，模拟“人类反馈 → 奖励信号”的核心过程。

preference_pairs = [...]模拟标注员的偏好对列表，每个元组第一项是胜者，第二项是败者。
p = sigmoid(scores[w] - scores[l])计算胜者赢过败者的概率，分数差越大，概率越高。
grad[w] += 1.0 - p梯度下降时抬升胜者分数，让它的胜率更接近 1。
grad[l] -= 1.0 - p同步压低败者分数，形成“此消彼长”的更新。
scores += lr * grad / len(preference_pairs)用平均梯度做批量更新，避免单条数据扰动过大。
ex = np.exp(scores - scores.max())做 softmax 前的数值稳定化，防止指数溢出。

常见误区

误区觉得只要砸钱买更多标注数据，模型就一定对齐得更好。结果模型变得“过于乖巧”，同时把标注员身上的偏见也一并学走了，某些敏感话题上甚至表现得比训练前更刻板。

正解反馈数据是“标尺”而不是“量筒”。标尺本身歪了，量得越多错得越远。对齐效果取决于数据质量、任务设计和多样性，而不是单纯的规模。行业里几千条高质量种子数据的效果，常常超过几十万条草率标注的数据。

为何常见：互联网时代“数据为王”的经验深入人心，人们容易把规模效应直接搬到对齐领域，忽略了反馈数据的标尺属性。

误区听说相对排序更稳健，就把所有任务都改成多选项排序。结果标注成本爆表，标注员面对 8 个候选来回比较，最后干脆瞎点；数据噪声反而比评分更高。

正解排序确实能规避个体评分尺度差异，但代价是认知负荷大、任务设计复杂。评分简单高效，只是需要 z-score 等方法校准。工程中常见策略是先用评分粗筛，再用小规模排序精修。

为何常见：论文常强调排序的稳健性，读者容易忽略其成本约束，从而产生“排序绝对更好”的误解。

误区只要标注团队覆盖了不同国籍、性别、年龄，数据就“多元”了。结果模型在专业法律咨询、方言对话等场景仍然频繁出错。

正解人口属性只是多样性的一部分。任务类型、提示表达方式、输出风格、专业知识层级同样关键。多位工程师反复打磨提示集合，往往比单纯扩充标注员背景更能提升覆盖度。

为何常见：社会公平讨论让“多样性”第一联想指向人口统计，人们容易忽略 AI 数据多样性的多元维度。

误区看到两位标注员的 Kappa 达到 0.85，就放心把数据送入训练管线，认为高一致等于高质量。

正解Kappa 衡量的是“共识度”，不是“正确度”。如果任务说明本身有歧义，或者所有标注员共享同一个盲区，就可能出现“一致地错”。必须配合黄金数据集（已知标准答案的样本）来校准正确率。

为何常见：工程实践中需要一个简单的数字来把关，Kappa 是最常用的指标，但“可量化”容易让人误以为“等于可靠”。

面试题

Q1. 在 RLHF 中，人类反馈数据最主要的用途是什么？

单选题 · easy

A.直接替换全部模型参数
B.构建偏好的排序数据← 正确答案
C.提高模型推理的延迟
D.减少模型的参数量级

答案：B。人类反馈数据（如偏好对）是奖励模型的训练燃料，最终转化为奖励信号指导策略更新。它不直接改参数、不优化推理、不压缩模型，因此选 B。

Q2. 关于绝对评分与相对排序，下列说法正确的是？

单选题 · easy

A.绝对评分完全不依赖打分尺度
B.相对排序更依赖具体比较语境← 正确答案
C.绝对评分不存在任何锚定效应
D.相对排序一定比评分更优秀

答案：B。相对排序是针对同一提示下的几个输出做比较，优劣判断高度依赖该语境；评分则是独立打分，容易受个人尺度影响。A、C 说法错误，D 过于绝对。

Q3. Cohen's Kappa 系数的正确含义是？

单选题 · mid

A.大于 0.8 表示两人标注完全一致
B.数值越接近 1 代表一致性越差
C.等于两人碰巧一致的概率大小
D.去除随机一致后的真实一致水平← 正确答案

答案：D。Kappa 是从实际一致率中剔除随机一致率得到的。0.8 以上表示强一致而非“完全一致”；越接近 1 一致性越好；碰巧一致概率只是 $p_e$ 一项，不是 Kappa 本身。

Q4. 标注任务把候选输出数量控制在 2～4 个，主要原因是？

单选题 · mid

A.候选越多模型越难以训练完成
B.全序排列数随数量呈阶乘爆炸← 正确答案
C.候选太少会导致数据量不足
D.标注员只擅长评价两个选项

答案：B。N 个候选的全序排列有 $N!$ 种，5 个选项就意味着 120 种排列，超过人的认知负荷。选项太少确实可能数据不足，但这可以通过多轮任务弥补，不是主要矛盾。

Q5. 用中位数绝对偏差（MAD）做离群检测时，第一步是？

单选题 · mid

A.直接计算全体数据的平均值
B.先求出全体数据的中位数← 正确答案
C.计算所有数据点的方差值
D.把数据按大小排序取极值

答案：B。MAD 是“每个数与中位数的绝对偏差再取中位数”，所以第一步是计算全体中位数。均值、方差和极值都不是 MAD 的定义基础。

Q6. 关于 RLAIF，下列说法正确的是？

单选题 · mid

A.完全不需要人类的任何参与
B.用 AI 生成偏好并替代人工标注← 正确答案
C.完全无法用于大规模视觉训练
D.本质是让模型给自己写注释

答案：B。RLAIF 让强大的 AI 模型充当标注员生成偏好，但人类仍需要设定标准、审核抽检、处理争议。它不是自我注释，也并非与大规模训练无关。

Q7. 构建多样性偏好数据时，应该覆盖哪些维度？

多选题 · hard

A.用户地域和语言文化← 正确答案
B.任务类型与提示表达← 正确答案
C.回答的详细程度风格← 正确答案
D.标注员的个人星座

答案：ABC。多样性维度至少包括群体（地域、语言）、任务场景（任务类型、提示表达）和输出风格（详细程度）。星座与数据质量无任何因果关系，属于无关噪声。

Q8. 关于 DPO 与 RLHF 的关系，正确的是？

单选题 · hard

A.DPO 必须额外训练一个奖励模型
B.DPO 直接用偏好对来微调策略← 正确答案
C.DPO 完全放弃了损失函数概念
D.DPO 不再需要任何偏好数据

答案：B。DPO 的核心创新是用策略模型的隐式概率差替代独立奖励模型，直接用偏好对做监督优化。C、D 明显错误；A 是 RLHF 的做法，不是 DPO。

Q9. 为什么高一致性不代表高质量？

多选题 · extreme

A.标注员可能共享着共同偏见← 正确答案
B.任务说明可能系统性误导群体← 正确答案
C.多数人的一致并不等于正确← 正确答案
D.一致性高说明样本量一定很小

答案：ABC。一致是“共识”，正确是“与事实或标准相符”。如果所有人被同一偏见或同一份错误说明引导，共识就会整体偏离真相。一致性高与样本量大小没有必然逻辑关系。

Q10. 在反馈数据采集流程中，标注员需要完成哪些动作？

多选题 · easy

A.仔细阅读任务指令内容← 正确答案
B.依次查看候选输出并比较← 正确答案
C.按规则给出偏好或评分← 正确答案
D.直接参与模型梯度更新

答案：ABC。标注员的任务链条是“读指令→看候选→给反馈”。模型训练是工程师的工作，标注员不接触梯度与参数更新，D 是典型干扰项。