RLAIF与Constitutional AI的完整技术图谱

CH-13-02-015·约 19 分钟·数据科学与数据工程·更新 2026-08-11

想象你是一家米其林餐厅的老板。你雇了一位天赋异禀的厨师——他叫“大模型”。这位厨师什么都好，就是太有主见：你说“做一道融合菜”，他可能端出一盘墨鱼汁冰激凌配花椒，创意满分，但客人集体崩溃。你需要的不是抑制他的才华，而是让他听懂“食客到底想要什么”。过去最笨但最有效的办法，是拉来一百位食客试吃打分，再按他们对口味、摆盘、温度的评价反复调整配方——这就是人类反馈驱动的强化学习（RLHF）。可组织百人食客团很贵、很慢，每个人的口味还不稳定。于是，新的思路出现了：既然打分这件事本身有规律，为什么不训练一位专属的“AI评论家”，让它代替食客评分？这就是RLAIF的核心——用AI反馈替代人类反馈。更进一步，你甚至可以把这家餐厅的哲学写成一本《厨师守则》，让厨师在上菜之前先自己对照守则挑毛病、改配方，直到满意再端出来——这就是Constitutional AI的自批判与修订。本文就用这套“餐厅与守则”的比喻，带你走完RLAIF与Constitutional AI的完整技术图谱。最后你会发现：自家养一位AI评论家，可能比天价外援食客团更划算。

岗位关联

对齐是大模型从“会聊天”到“可信赖”的关键一跃。掌握RLAIF与Constitutional AI，你就能用极低的标注成本完成模型对齐，这是中小团队做AI应用落地最实用的核心竞争力。

可视化演示
对齐基础
RLAIF机制
宪法AI流程
数据与训练
效果对比
开源实现
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

分步演示RLAIF与RLHF双路径Pipeline对比、Constitutional AI自批判修订循环、以及开源RLAIF与闭源RLHF多维度效果对比。

本节配有交互动效（进入视口后自动加载，约 3KB）。

RLAIF与RLHF双路径对比 RLHF路径依赖人工标注成本高扩展性差 RLAIF用AI Judge替代人类反馈成本降百倍 cost(RLAIF)≈cost(RLHF)/300 RLAIF在保持效果接近前提下大幅降低标注成本

对齐基础

老板让厨师自由发挥，厨师端出了墨鱼冰激凌。这不是厨师笨，而是没有一套“食客期待”的信号装置。大模型也一样：海量预训练让模型学会“像人说话”，但它并不知道你希望它以什么姿态、什么价值观开口。所谓对齐（alignment），就是给模型装上一套信号接收器，让它输出的行为与人的期待一致。

最经典的解决方案是RLHF（Reinforcement Learning from Human Feedback，人类反馈强化学习）。它的流程像极了组织百人食客团：让人类标记者给模型的多份回答打分、排序，这些分数教会一个“奖励模型”什么答案受欢迎，再用强化学习让厨师模型向高分方向调整。RLHF效果好，但有两个痛点：请食客贵，而且食客的味觉会漂移。

那如果我们可以训练一位稳定的AI评论家，让它吸收大量食客的品味规律，再代替人类去打标签呢？这就是AI反馈的起点。它并不是推翻RLHF，而是把RLHF中“人类标注”这个最贵的零件，替换成可复制的自动化评审流水线。

有了这个目标，剩下的问题是：谁来当这个“评委”？如果评委请不起，我们就自己养一位AI评论家。

\displaystyle J(\theta)=\mathbb{E}_{x\sim\mathcal{D}}\left[ r(x,\pi_{\theta}(x)) \right]

这个公式是在说：老板的目标，是让厨师模型 $\pi_\theta$ 在各类客人口味（输入分布）下，都能拿到尽可能高的“食客评分” $r$。

模型策略$\pi_\theta(x)$ 是厨师模型面对菜品要求 $x$ 时给出的答案。
$\displaystyle \pi_{\theta}(x)$
评分函数$r(x,y)$ 是食客团（奖励模型）给答案打的分数。
$\displaystyle r(x,y)$
期望平均$\mathbb{E}$ 表示把餐厅所有客人的口味（数据分布）平均一遍。
$\displaystyle \mathbb{E}_{x\sim\mathcal{D}}$

RLAIF机制

RLAIF（Reinforcement Learning from AI Feedback，AI反馈强化学习）的思路很直接：既然百人食客团的本质是产出一堆“这个比那个好”的偏好标签，那AI评论家也能做同样的事。它像一位阅菜无数的职业评论家，不需要每次上菜都召集食客，扫一眼就能给出专业判断。

技术流程也几乎与RLHF同构：先让模型针对同一组提示词生成多份候选回答，然后调用AI评论家给每份回答打分，从而构造出“赢家/输家”偏好对。这些偏好对用来训练一个奖励模型，最后用强化学习算法（如PPO）让策略模型往高分方向优化。RLAIF唯一替换掉的就是“人类标注”这一环：食客换成了机器人。

为了让AI评论家打分可靠，研究者通常采用Bradley-Terry偏好模型——把两支候选同时送审，让裁判比较“谁更好”，而不是孤立地给绝对分数。这样做能把评分的尺度漂移问题变成相对排序问题，大大降低裁判的噪声。

在RLAIF的强化学习阶段，还要给策略加上KL约束，防止厨师为了拿高分开始做“花活”——比如只迎合评论家口味而丢掉真实菜品质量。评论家便宜、稳定、可无限调用，这正是RLAIF的成本优势所在。

\displaystyle L(\phi)=-\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}_{AI}}\left[ \log\sigma\left( r_\phi(x,y_w)-r_\phi(x,y_l) \right) \right]

这像训练一位挑剔的美食评论家：每次都端上两盘菜，让它思考“哪盘更符合守则”，再按它的选择调整它的品味参数。

赢家输家$y_w$ 是AI评论家认为更好的回答，$y_l$ 是更差的回答。
$\displaystyle y_w \succ y_l$
分数之差$r_\phi(x,y_w)-r_\phi(x,y_l)$ 表示两盘菜的评分差。
$\displaystyle r_\phi(x,y_w)-r_\phi(x,y_l)$
Sigmoid压缩$\sigma(\cdot)$ 把分数差压到 $(0,1)$ 之间，变成“赢的概率”。
$\displaystyle \sigma(z)=\frac{1}{1+e^{-z}}$
对数似然取负对数，让“赢家概率越接近1”时损失越小。
$\displaystyle -\log\sigma(z)$

宪法AI流程

有了一位AI评论家后，老板还想更进一步：厨师能不能在出锅前，自己对照《厨师守则》先挑一遍毛病？这就是Constitutional AI（宪法AI）的精髓：与其每次靠外部评委把关，不如把餐厅的经营哲学前置到烹饪过程里。

这个“宪法”其实是一份人工编写的原则清单，比如“回答要无害”“不得鼓励非法行为”“要尊重用户多样性”。流程分三步。第一步，让模型读着宪法对自己生成的候选回答进行“自我批判”（critique），找出一堆不合规之处；第二步，让模型根据批评意见“修订”（revision）答案；第三步，把修订后的答案作为更好的样本，和原始答案组成偏好对，进入我们前面提到的RLAIF训练管道。

整个过程像一位厨师在试菜时自言自语：“这道菜太咸了，不符合守则第3条，我要减盐、加一点酸来平衡。”你会发现，AI不是被动等人批评，而是具备了主动对照规则迭代的能力。这种迭代循环可以重复多轮，像反复打磨配方一样，让回答越来越贴近守则要求。

宪法AI看似多了一步“自我批评”，却换来了巨大的成本杠杆：人类只负责写守则，剩下的大量批判与修订工作全部由模型自己完成，标注预算可以砍掉一个数量级。

\displaystyle y_{crit}\sim p_\theta(\cdot\mid p,\;y_c)

\displaystyle y'\sim p_\theta(\cdot\mid p,\;y_c,\;y_{crit})

第一式是“对答案挑刺”，第二式是“拿着刺重新做菜”。两步合起来，就是宪法AI的自批判与修订。

原则输入$p$ 是宪法原则列表，即《厨师守则》全文。
$\displaystyle p$
自我批判$y_{crit}$ 是模型对候选答案 $y_c$ 提出的批评意见。
$\displaystyle y_{crit}\sim p_\theta(\cdot\mid p, y_c)$
修订输出$y'$ 是模型结合批评意见重新生成的答案。
$\displaystyle y'\sim p_\theta(\cdot\mid p, y_c, y_{crit})$
迭代循环把 $y'$ 当作新的 $y_c$ 重复以上两步，就形成多轮精炼。
$\displaystyle y_c \leftarrow y'$

数据与训练

守则写好了、评论家也上岗了，接下来要解决的是“怎么把这一套流程喂进模型训练里”。RLAIF的数据管道像一条后厨流水线：第一步是生成合成偏好数据——让模型用不同的温度或采样方式产出多个候选答案，再由AI裁判构造偏好对；第二步是SFT起步；第三步才是强化学习阶段。

SFT（Supervised Fine-Tuning，监督微调）是让模型先学会“守规矩的说话方式”。有了SFT模型后，再在上面跑RLAIF的偏好学习，效果才稳定。之后进入RL阶段，用PPO等算法让策略追着奖励模型跑，同时KL惩罚约束策略不漂移太远。现在也有更轻量的方案，比如DPO（Direct Preference Optimization），它跳过显式奖励模型，直接用偏好对更新策略，像厨师直接对照食客点评改菜，省去了中间商。

还有一个值得关心的工程问题：数据比例配置。完全不用人类数据，就像厨师从没尝过真正的人类口味；人类数据太多，又回到昂贵的RLHF老路。实践中通常用“少量人类数据+大量AI合成数据”的混合配方，像做菜时加一点盐提味。

这套数据管线的妙处在于可扩展：人类标注员的产能上限是每月几千条，AI裁判却可以一天生成十万条偏好对。因此 $\alpha$ 可以随预算和效果动态调，像调味一样灵活。

\displaystyle \alpha=\frac{|D_{AI}|}{|D_{AI}|+|D_{human}|}

$\alpha$ 代表AI合成反馈数据在全部偏好数据中的占比。$\alpha=1$ 是纯RLAIF，$\alpha=0$ 就是纯RLHF，实践中往往取中间值。

分子分母$D_{AI}$ 是AI裁判生成的偏好对数量，$D_{human}$ 是人类标注的偏好对数量。
$\displaystyle |D_{AI}|,\;|D_{human}|$
比例计算用AI数据量除以总数据量，得到AI反馈占比。
$\displaystyle \frac{|D_{AI}|}{|D_{AI}|+|D_{human}|}$
取值范围$\alpha\in[0,1]$，越接近1越依赖AI反馈。
$\displaystyle 0\le\alpha\le 1$

效果对比

自家养的AI评论家，和天价外援的人类食客团，到底谁调教出来的厨师更靠谱？这是开源社区最关心的问题。Anthropic在《Constitutional AI: Harmlessness from AI Feedback》等工作中做了大量对比实验，发现RLAIF的效果已经与RLHF非常接近，但在多数有害性指标上RLHF仍略占上风；随着模型规模与数据量放大，RLAIF的差距在快速缩小，而成本优势却越来越大。

开源RLAIF与闭源RLHF的对比，要分开看“效果”和“价格”两个维度。效果上，公开研究普遍显示，在相同预算下开源RLAIF能达到闭源RLHF约90%～100%的对齐水平——如果预算只有闭源团队的十分之一，那RLAIF反而是那个“用更小钱办更多事”的选择。价格上，RLAIF用本地开源裁判模型替代昂贵的人类第三方标注，几乎零边际成本。

衡量谁更好，不能只看一两盘菜的印象，要用统计方法算胜率：把两个方案分别做出的回答放在一起盲测，看哪个被更多人偏爱。胜率的置信区间能帮我们判断“差距是真实存在，还是随机波动”。

结论也很符合直觉：天价外援确实略强，但自家AI评论家已经能顶住九成以上的场子，而且它永远不会疲劳、不会被情绪左右、加个夜班也不抱怨。预算有限的小餐厅，优先养AI评论家显然更划算。

\displaystyle \hat{p}=\frac{1}{N}\sum_{i=1}^{N} I(y_i\succ\tilde{y}_i)

这是最朴素的胜率估计：把N道菜两两盲测，数一数自家方案赢了多少场。

配对比较$y_i$ 是方案A的回答，$\tilde{y}_i$ 是方案B的回答。
$\displaystyle y_i,\;\tilde{y}_i$
指示函数$I(\cdot)$ 当条件成立时取1，否则取0——赢一场记一分。
$\displaystyle I(y_i\succ\tilde{y}_i)$
平均胜率对所有比较结果求平均，得到胜率的点估计 $\hat{p}$。
$\displaystyle \hat{p}=\frac{1}{N}\sum_{i=1}^{N} \cdot$

开源实现

最后，怎么把这位“AI评论家+厨师守则”的配置真正落到代码里？开源社区已经把这套流程做成了标准化的后厨工具箱。最常用的框架是TRL（Transformers Reinforcement Learning）和alignment-handbook，它们提供了从SFT到PPO/DPO的完整训练流程，直接读偏好数据集就能开跑。

本地裁判模型是开源RLAIF的另一块拼图。像Prometheus、UltraRM这类开源打分模型，可以扮演“AI评论家”角色，给候选回答打偏好分，完全不需要闭源API。你只需要准备一台过得去的GPU，就能为一个垂直领域（比如法律咨询、客服话术）快速定制一个专属裁判。这等于把米其林评论家请回了自家厨房。

训练策略上，DPO是低资源场景的首选：它不需要单独训练奖励模型，也不需要在线采样和PPO那样复杂的强化学习稳定性调参，直接用一份偏好数据集就能完成策略更新，像照着食客留言改菜单，简单直接。对算力紧张的中小团队来说，DPO几乎是最平滑的上手路径。

开源RLAIF让“低成本对齐”不再是巨头专属。只要有一份原则清单、一个可用的裁判模型、一套TRL脚本，任何团队都能训练出符合自己价值观的大模型——这大概是技术民主化最动人的部分。

\displaystyle L_{DPO}(\theta)=-\log\sigma\left( \beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{ref}(y_w\mid x)} - \beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{ref}(y_l\mid x)} \right)

DPO的精髓是：拿AI裁判给的一对“赢家/输家”答案，直接让厨师模型靠近赢家、远离输家，中间用参考模型当刹车，防止漂移。

概率比$\pi_\theta(y_w\mid x)$ 是当前模型给赢家答案的概率，分母 $\pi_{ref}$ 是参考模型的概率。
$\displaystyle \frac{\pi_\theta(y_w\mid x)}{\pi_{ref}(y_w\mid x)}$
偏好间隔赢家和输家的对数概率比相减，构成“这道菜赢了多少”的间隔。
$\displaystyle \beta\log\frac{\pi_\theta(y_w\mid x)}{\pi_{ref}(y_w\mid x)} - \beta\log\frac{\pi_\theta(y_l\mid x)}{\pi_{ref}(y_l\mid x)}$
Sigmoid映射把间隔压到 $(0,1)$，作为“赢家的偏好概率”。
$\displaystyle \sigma(\cdot)$
负对数损失最大化这个概率，等价于让损失最小化。
$\displaystyle -\log\sigma(\cdot)$

AI 应用场景

低成本客服大模型对齐

阶段：RLAIF偏好数据生成与DPO训练

解决的问题：客服大模型需要大量“礼貌、准确、不越权承诺”的对齐数据。传统RLHF需要每月雇佣数十名标注员，成本极高且周期长，中小团队难以承受。RLAIF用人工编写客服守则+本地裁判模型批量生成偏好对，把标注成本降到原来的十分之一以下。

具体案例：一家电商SaaS公司希望让客服机器人不外泄竞品信息。团队用10条宪法原则，让模型自我批判生成3万对“违规回答→合规修订回答”，再用开源裁判模型打分，最后用DPO微调7B模型，两天的训练后安全通过率达到内部红队测试的92%。

内容安全审核助手自批判

阶段：Constitutional AI自批判与修订

解决的问题：内容审核模型容易被对抗样本绕过，且人工复核积压严重。Constitutional AI让审核模型先自我批判“我这个判断是否过激/漏判”，再修订判定理由，能显著提高边界案例的准确性。

具体案例：某社区平台对“疑似自杀倾向帖”做分级响应。利用宪法AI流程，模型生成回复后先对照“同理心守则”自我批判，再修订为更温和的援助话术，人工复核率从70%降到25%。

多语言对齐数据匮乏

阶段：合成偏好数据生成

解决的问题：小语种（如泰语、阿拉伯语）缺乏足够的人类偏好标注员，导致对齐效果远差于英语。RLAIF让AI裁判一次性生成高质量偏好数据，让对齐能力快速迁移到冷门语种。

具体案例：一家出海公司要在阿拉伯语客服场景部署RLAIF。团队由阿拉伯语专家手工编写50条文化敏感守则，再让多语言大模型生成并修订问答对，AI裁判打分后训练小模型，一周内阿拉伯语对话质量从“能听懂”提升到“可商用”。

Python 演示

python69 行

#!/usr/bin/env python3"""RLAIF 核心流程微型演示：AI裁判生成偏好，DPO风格更新策略模型。"""import numpy as np  def sigmoid(z):    return 1.0 / (1.0 + np.exp(-z))  class AIJudge:    """AI裁判：用一个线性打分函数模拟对答案质量的评判。"""     def __init__(self, feat_dim):        self.w = np.random.randn(feat_dim) * 0.5        self.b = 0.2     def score(self, x):        return float(np.dot(x, self.w) + self.b)  class ChefPolicy:    """厨师模型：线性策略，通过参数theta表达对答案特征的偏好。"""     def __init__(self, feat_dim):        self.theta = np.zeros(feat_dim)     def log_prob(self, x):        return float(np.dot(x, self.theta))  class RLAIRecipe:    """把一道菜的全套流程串起来：AI评分、构偏好、DPO修订。"""     def __init__(self, feat_dim=8, lr=0.05, beta=0.5):        self.judge = AIJudge(feat_dim)        self.chef = ChefPolicy(feat_dim)        self.lr = lr        self.beta = beta        self.candidates = [np.random.randn(feat_dim) for _ in range(6)]     def make_pair(self):        scores = [self.judge.score(c) for c in self.candidates]        order = np.argsort(scores)[::-1]        return self.candidates[order[0]], self.candidates[order[1]]     def dpo_loss(self, x_w, x_l):        lw = self.chef.log_prob(x_w)        ll = self.chef.log_prob(x_l)        logit = self.beta * (lw - ll)        loss = -np.log(sigmoid(logit) + 1e-9)        return loss, lw, ll     def update(self, x_w, x_l):        loss, lw, ll = self.dpo_loss(x_w, x_l)        scale = self.beta * sigmoid(-self.beta * (lw - ll)) + 1e-9        self.chef.theta += self.lr * (scale * x_w - scale * x_l)        return loss     def run(self, epochs=50):        for epoch in range(epochs):            x_w, x_l = self.make_pair()            loss = self.update(x_w, x_l)            if epoch % 10 == 0:                print("epoch", epoch, "loss %.4f" % loss)  if __name__ == "__main__":    recipe = RLAIRecipe(feat_dim=8, lr=0.05, beta=0.5)    recipe.run(epochs=50)

目的：微型复刻RLAIF的两大支柱——AI裁判生成偏好对、DPO损失直接修订策略。真实场景中只需把candidates换成大模型的多个采样输出，把线性策略换成Transformer即可。

scores = [self.judge.score(c) for c in self.candidates]AI裁判给所有候选答案逐份打分，这是RLAIF替代人类标注的核心一步
order = np.argsort(scores)[::-1]按分数降序排序，分数最高的是赢家，最低的是输家
logit = self.beta * (lw - ll)计算赢家与输家的对数概率间隔，间隔越大说明策略越会区分好坏
loss = -np.log(sigmoid(logit) + 1e-9)DPO损失：让赢家概率尽可能接近1，相当于摄影师往高分方向移动
scale = self.beta * sigmoid(-self.beta * (lw - ll))自动计算梯度强度：模型还分不清好坏时，更新步幅更大
self.chef.theta += self.lr * (scale * x_w - scale * x_l)朝着“更像赢家、更不像输家”的方向微调策略参数

常见误区

误区既然叫“AI反馈”，那整个流程都是模型自己完成的，人类可以彻底撒手不管。

正解RLAIF只是把“打分”这个环节从人类换成了AI。宪法原则、质量标准、初始Prompt设定，全部依赖人类设计。更关键的是，AI裁判本身来自人类偏好数据训练的模型，可以说人类是通过“写守则+训练裁判”的方式间接参与。像餐厅老板不亲自试菜，但守则和选评论家的眼光，依然是人的决定。

为何常见：“AI替代人类”这个说法太有传播力，容易让人忽略替代的只是中间环节，而不是整个决策链。

误区让模型自我批判然后修订一轮，就完成了Constitutional AI对齐，效果不好就怪宪法写得差。

正解自批判与修订是一个可迭代循环。Anthropic的实践中，修改后的答案会被重新批判、再次修订，经过多轮精炼后才作为训练数据。而且宪法的粒度、口吻、条款顺序都会影响效果，需要像打磨菜谱一样反复调试。一次就成功的厨子是不存在的，一次就成功的宪法也是。

为何常见：人们习惯把“自我批判”误解为一个一次性的审核动作，忽略了论文中明确的迭代训练流程。

误区AI裁判没有情绪、不会被收买，所以它的评分肯定比人类标注员更稳定、更客观。

正解AI裁判同样存在偏差。它的打分偏好来自训练数据，可能偏爱某种文风、某种答案长度，甚至“自己人”——即与训练分布更接近的输出。例如用GPT-4做裁判时，它常对GPT-4生成的答案有隐性偏好。实践中需要混合多种裁判、对齐人类小样本验证，才能控制这种“自家评论家偏心”的风险。

为何常见：人们容易把“无情绪”等同于“无偏差”，但偏差的本质是数据分布，不是情绪。

误区既然RLAIF成本低、扩展性强，那它的效果应该已经碾压闭源RLHF了。

正解目前公开研究（如Anthropic的宪法AI论文）显示，RLAIF在多数有害性指标上已经与RLHF差距很小，但RLHF在不少基准上仍略占上风。RLAIF的真正优势是“同等效果下成本低一两个数量级”和“可无限扩展到冷门领域”。打个比方：自家AI评论家能做到外援评审团90%以上的辨识力，但顶尖大厨和AI评审联手打磨的菜，依然是最稳的招牌。

为何常见：成本优势带来的兴奋感容易让人误以为“便宜=更好”，但效果对比需要看具体指标和置信区间。

误区AI裁判给分，AI模型学，反正都是AI，不会出现“钻空子”的问题。

正解奖励过拟合（reward hacking）在RLAIF中同样存在，甚至更隐蔽。模型会学着在裁判打分的维度上“刷分”，比如输出更长的答案、堆砌关键词，而真实质量并没有提升。这也是为什么RLAIF必须配合KL约束、参考模型正则化、以及定期用少量人类标注做校验。没有刹车的厨师，迟早会把车开进沟里。

为何常见：RLAIF看起来省去了人类，但奖励信号本身的安全设计依然是核心难题，这个技术细节容易被忽略。

面试题

Q1. RLAIF中的"IF"指的是什么？

单选题 · easy

A.快速迭代中的用户反馈
B.人工智能生成的反馈← 正确答案
C.人类点评家的品鉴
D.安全审计团队的报告

答案：B。RLAIF全称是Reinforcement Learning from AI Feedback，即“从AI反馈中强化学习”。它用AI裁判生成偏好信号，替代RLHF中的人类标注环节。A说的是产品迭代、C是人类反馈、D是安全审计，都不符合“AI生成反馈”这一定义。

Q2. 相比RLHF，RLAIF最直接的优势是什么？

单选题 · easy

A.无需任何预训练基础
B.大幅降低人工标注成本← 正确答案
C.完全消除模型幻觉
D.不需要设计提示词

答案：B。RLAIF用AI裁判批量生成偏好标签，边际成本远低于雇佣人类标注员。它仍然需要预训练模型和提示词设计，B正确。模型幻觉与对齐方式相关但不能被“完全消除”；提示词设计依然需要人工构思。

Q3. Constitutional AI中的“宪法”指什么？

单选题 · easy

A.国家法律条文的直接输入
B.一套人工编写的原则清单← 正确答案
C.模型内部的隐藏权重
D.用户协议与免责声明

答案：B。宪法是研究者预先编写的一组行为原则，例如“回答应无害、尊重多样性”。模型依据这些原则进行自我批判与修订。它不是法律条文库、不是权重，也不同于法律合同文本。

Q4. 宪法AI“自我批判”阶段的核心产物是什么？

单选题 · mid

A.最终部署的模型参数
B.针对候选输出的批评意见← 正确答案
C.完整的训练数据集
D.预训练损失曲线

答案：B。自我批判是让模型对照宪法找出自己答案中的问题，产物是批评意见（critique），之后才有修订和偏好数据构造。A是训练终点、C是管道后续产物、D与对齐无关。

Q5. Bradley-Terry偏好模型中，训练奖励模型主要用的是哪种损失形式？

单选题 · mid

A.均方误差回归损失
B.交叉熵分类损失
C.对比对数几率损失← 正确答案
D.生成式语言建模损失

答案：C。Bradley-Terry模型将“赢家优于输家”建模为一个伯努利概率，通常用sigmoid对数几率（logit）的负对数似然作为损失，本质是对比式偏好学习。它不回归绝对分数，也不做文本生成建模。

Q6. DPO相比“训练奖励模型+PPO”的传统RLAIF，最大特点是？

单选题 · mid

A.必须额外训练一个奖励模型
B.直接从偏好对更新策略← 正确答案
C.只能用于闭源模型
D.需要人类逐条审核偏好

答案：B。DPO（Direct Preference Optimization）用偏好对直接计算策略的对比损失，省去了显式奖励模型和复杂的PPO强化学习流程。它完全开源可用，也不需要人类逐条审核。

Q7. 开源RLAIF通常使用以下哪个工具库？

单选题 · easy

A.TRL 或 alignment-handbook← 正确答案
B.NumPy 可视化库
C.OpenCV 图像库
D.MySQL 数据库

答案：A。TRL和alignment-handbook是社区常用的开源强化学习对齐框架，提供SFT、PPO、DPO等现成流程。NumPy是数值计算库、OpenCV是图像库、MySQL是数据库，都不属于对齐工具。

Q8. 关于RLAIF与RLHF的对比研究，以下说法正确的有？

多选题 · mid

A.RLAIF能显著减少人类标注量← 正确答案
B.早期RLAIF效果通常略低于RLHF← 正确答案
C.差距随模型规模扩大而缩小← 正确答案
D.RLAIF必须依赖闭源API才能运行

答案：ABC。RLAIF将人类标注替换为AI裁判，标注成本大幅下降但没有完全消除；早期研究中RLHF在多数基准上略占上风；随着规模和数据量放大，两者差距快速缩小。RLAIF完全可以用开源裁判模型实现，不依赖闭源API。

Q9. Constitutional AI迭代循环中通常包含哪些环节？

多选题 · hard

A.自我批判← 正确答案
B.修订精炼← 正确答案
C.偏好学习训练← 正确答案
D.遗传算法变异

答案：ABC。宪法AI先让模型依据原则自我批判候选答案，再根据批评修订，最后把修订前后答案构造成偏好对进入RLAIF偏好学习。遗传算法是进化计算思路，不属于宪法AI流程。

Q10. 关于RLAIF中的KL约束与偏好损失，下列说法正确的是？

多选题 · extreme

A.RL阶段加KL惩罚可约束策略漂移← 正确答案
B.DPO通过参考模型隐式约束策略← 正确答案
C.Sigmoid将分数差映射到(0,1)← 正确答案
D.无需任何正则化即可保证稳定

答案：ABC。PPO阶段常用KL惩罚让策略不偏离参考模型太远；DPO通过π_ref参考模型在损失中隐式克制策略漂移；sigmoid将差值压缩到(0,1)提升数值稳定性。完全不使用正则化会导致奖励过拟合和策略崩溃，D错误。