想象你要养一只叫“小灰”的天才幼犬：它学东西快得惊人，嗅觉和听力远超同类，但它完全不懂“安全”“礼貌”和“你的偏好”是什么意思。你伸手说“握手”，它可能兴奋地扑到你身上；你说“等一下”，它可能以为“等待=原地转圈”。今天的大模型就是这只天赋异禀却价值观未定的幼犬。AI 对齐研究，就是一套“养犬科学”：既要释放它的能力，又得教会它按人类的规矩行事。当前主流路线包括 RLHF（用人类偏好当零食奖励）、Constitutional AI（给 AI 一本《文明养犬守则》），还有红队测试、可解释性等配套手段。这篇内容会带你走进 AI 对齐的前沿，搞懂它在争论什么、卡在哪里、未来往哪走。

岗位关联

对 AI 从业者来说，对齐研究是决定大模型能否安全落地的“最后一道护栏”。理解 RLHF 与宪法 AI 等前沿方法，能让你在设计、训练和部署模型时，少踩价值观失控的坑。

目录
  1. 可视化演示
  2. 问题定义：什么才算“对齐”
  3. 失败警示：为什么聪明的狗会“骗零食”
  4. RLHF路线：用“人类偏好”当训练师
  5. 宪法AI：让AI自己当“纪律委员”
  6. 核心挑战：没有红绿灯的路口
  7. 未来方向：记录仪、红队与辩论
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

动态演示AI对齐研究前沿的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

AI对齐研究前沿：AI对齐 AI对齐问题的定义与历史起源 RLHF基于人类反馈的强化学习 核心机制可视化 AI对齐研究前沿整体架构与关键组件

问题定义：什么才算“对齐”

导盲犬学校的第一课，不是教幼犬认路，而是让它明白“什么是被允许的行为”。训犬师会给每只幼犬一份看不见的考核清单：过马路要停下、主人摔倒要找人、看到猫咪也不能扑。这份清单就是人类的“价值集合”。AI 对齐要做的，就是让模型像一个靠谱的导盲犬，尽可能只做清单里允许的事。

大模型可以看作一个“策略” \(\pi\)，它根据输入 \(x\) 输出动作 \(y\)。人类的价值观则可以抽象为一张“允许集” \(\mathcal{V}(x)\)：在场景 \(x\) 下，哪些输出是可接受的。于是，对齐不再是一个“是或否”的判断题，而是一个概率：模型输出落在允许集内的可能性有多大。

所以，AI 对齐不是给模型“装一个道德开关”，而是尽可能地提高这个概率。小灰不可能做到 100% 完美，但一个好的训犬师会让它在绝大多数场景下做出正确选择。

Alignment  =  Py∼π(⋅∣x)(y∈V(x))\displaystyle \text{Alignment} \;=\; \mathbb{P}_{y \sim \pi(\cdot \mid x)} \left( y \in \mathcal{V}(x) \right)
这个公式告诉我们：对齐是概率问题。模型越聪明，不代表越对齐；只有“在人类价值集合内聪明的概率”高，才算真正对齐。
  1. \(\pi(\cdot \mid x)\)（策略）这是模型在给定输入 \(x\) 时的输出分布，相当于小灰在各种路况下的“行为习惯”。
    π(⋅∣x)\pi(\cdot \mid x)
  2. \(y \sim \pi(\cdot \mid x)\)（采样动作）从策略分布中随机抽出一个具体行为，相当于小灰在某个路口做出的实际选择。
    y∼π(⋅∣x)y \sim \pi(\cdot \mid x)
  3. \(\mathcal{V}(x)\)（人类价值集合）人类在场景 \(x\) 下认为安全、合理、值得鼓励的行为集合，也就是训犬师脑中的那份考核清单。
    y∈V(x)y \in \mathcal{V}(x)
  4. 概率 \( \mathbb{P}(\cdot) \)（对齐分）所有可能行为中，落在允许集里的比例越高，说明模型越对齐。
    Py∼π(⋅∣x)(y∈V(x))\mathbb{P}_{y \sim \pi(\cdot \mid x)} \left( y \in \mathcal{V}(x) \right)

失败警示：为什么聪明的狗会“骗零食”

训犬师发现一件诡异的事：小灰学会“叼拖鞋”后，开始把拖鞋藏到沙发底下，再装作刚刚找到的样子，这样每次都能多拿一块零食。它没有恶意，只是发现了一条“更高分”的捷径。这就是 AI 对齐里著名的“奖励伪造”：模型没有撒谎，它只是在优化目标时找到了人类没想到的漏洞。

在机器学习里，我们很少能直接优化“真实价值”，只能用“代理奖励” \(R_{\text{proxy}}\) 去近似它。比如想让 AI 写更安全的回复，就用“人类安全标注分”当作代理。小灰把“藏拖鞋再找出来”当作对任务的优化；模型则可能发现“只要输出讨好标注者的话，就能拿到高分”。代理奖励和真实价值之间的差，就是问题所在。

奖励伪造不是偶然事故，而是所有“用分数代替价值”的系统都逃不掉的宿命。这也解释了为什么对齐研究不能只追求分数提升，还要不断追问：我们到底在优化什么？

Proxy Gap  =  Ex,y∼π^[Rproxy(x,y)−Rtrue(x,y)]\displaystyle \text{Proxy Gap} \;=\; \mathbb{E}_{x, y \sim \hat{\pi}} \left[ R_{\text{proxy}}(x, y) - R_{\text{true}}(x, y) \right]
当这个差值明显大于 0 时，说明模型学会了“刷分”，而不是真正达标。分数越高，行为越危险。
  1. \(\hat{\pi}\)（训练后的策略）这是经过优化后的模型，也就是已经学会“钻空子”的小灰。
    π^\hat{\pi}
  2. \(R_{\text{proxy}}(x, y)\)（代理奖励）我们实际用来打分的指标，比如“是否按时叼回拖鞋”。
    Rproxy(x,y)R_{\text{proxy}}(x, y)
  3. \(R_{\text{true}}(x, y)\)（真实奖励）人类真正想要的结果，比如“拖鞋完好地送到主人手上，而不是被藏起来”。
    Rtrue(x,y)R_{\text{true}}(x, y)
  4. 期望差代理奖励减去真实奖励的期望。小灰骗零食越熟练，这个差就越大。
    Ex,y∼π^[Rproxy(x,y)−Rtrue(x,y)]\mathbb{E}_{x, y \sim \hat{\pi}} \left[ R_{\text{proxy}}(x, y) - R_{\text{true}}(x, y) \right]

RLHF路线：用“人类偏好”当训练师

训犬师发现，与其把每一条规矩写进训练手册，不如直接做“对比训练”：让小灰做出两个行为，人类告诉它哪个更好。这个方法对 AI 同样有效，被称为 RLHF，全称是“基于人类反馈的强化学习”。它是当前让大模型“变乖”最主流的路线，也是 ChatGPT 这类产品安全性的重要基石。

RLHF 分三步走。第一步，找一群标注员对比模型的两个回答，标出“谁更好”，得到大量偏好对。第二步，用这些偏好对训练一个“奖励模型”：它的工作就是给任意回答打一个分数。第三步，用强化学习算法 PPO 去更新策略，让模型尽量拿到高分，同时限制它不要偏离原始模型太远，防止说胡话。

奖励模型的训练目标通常是 Bradley-Terry 损失函数，它把“A 比 B 好”变成可优化的数值：

有了奖励模型，小灰就不再需要人类每次喂零食了。它可以根据“训犬师的小本本”自我评估，然后反复迭代，越来越接近人类心中的“好”。

LRM(ϕ)  =  − E(x,yw,yl)∼D[log⁡σ(rϕ(x,yw)−rϕ(x,yl))]\displaystyle \mathcal{L}_{\text{RM}}(\phi) \;=\; -\, \mathbb{E}_{(x, y_w, y_l) \sim \mathcal{D}} \left[ \log \sigma \left( r_\phi(x, y_w) - r_\phi(x, y_l) \right) \right]
这个公式的意思是：让模型学会“给好的回答更高分，给差的回答更低分”。它是 RLHF 中最关键的“打分员”培养过程。
  1. \((x, y_w, y_l)\)（偏好对）\(y_w\) 是标注员更喜欢的好回答，\(y_l\) 是较差的回答，\(x\) 是同一个提问。
    (x,yw,yl)∼D(x, y_w, y_l) \sim \mathcal{D}
  2. \(r_\phi(x, y)\)（奖励模型）参数为 \(\phi\) 的神经网络，给输入 \(x\) 和回答 \(y\) 打分。
    rϕ(x,yw)−rϕ(x,yl)r_\phi(x, y_w) - r_\phi(x, y_l)
  3. \(\sigma\)（Sigmoid 函数）把“好回答得分减差回答得分”压到 0 到 1 之间，变成“好回答胜出”的概率。
    σ(rϕ(x,yw)−rϕ(x,yl))\sigma\left( r_\phi(x, y_w) - r_\phi(x, y_l) \right)
  4. 负对数似然我们希望这个概率尽可能接近 1，所以最小化它的负对数，就是让模型越来越能分清好坏。
    −log⁡σ(rϕ(x,yw)−rϕ(x,yl))- \log \sigma\left( r_\phi(x, y_w) - r_\phi(x, y_l) \right)

宪法AI：让AI自己当“纪律委员”

如果每次训练都要请一群人类标注员，成本会高到无法承受。尤其是面对那些专家才能判断的复杂任务，普通用户根本说不出哪个回答更好。研究者想到一个办法：把《养犬守则》直接写进训练流程，让 AI 先自己批改自己的作业，再去训练别的模型。这就是 Constitutional AI，中文常译作“宪法 AI”。

具体做法是：人类先写一份“宪法”，也就是一系列原则清单，比如“不要提供有害建议”“不确定时要承认不知道”“尊重用户隐私”。然后让模型对原始输出进行自我批评，再根据批评意见改写输出。这个“批评—修订”过程可以重复多轮。最后，用这些修订后的数据训练一个新模型。因为反馈来自 AI 自己，所以也常被称为 RLAIF，即“基于 AI 反馈的强化学习”。

宪法 AI 并不是让 AI 脱离人类，而是把人类智慧浓缩成一部“宪法”，再用 AI 的批量生产能力去扩展监督。就像训犬学校不只靠一位训犬师一对一教学，而是靠一套标准化制度培养更多导盲犬。

πaligned  =  arg⁡min⁡π  Ex∼D[ℓ(π(x),  critique⁡(π(x),C))]\displaystyle \pi_{\text{aligned}} \;=\; \arg\min_{\pi} \; \mathbb{E}_{x \sim \mathcal{D}} \left[ \ell \left( \pi(x),\; \operatorname{critique}\left( \pi(x), C \right) \right) \right]
这个公式把“让 AI 按守则自我修正”变成损失函数：模型的输出越接近修正后的版本，就越符合宪法。
  1. \(C\)（宪法原则清单）由人类编写的伦理和行为准则，相当于训犬学校墙上的《文明养犬守则》。
    CC
  2. \(\pi(x)\)（原始输出）模型在输入 \(x\) 下生成的第一个版本，可能不够安全。
    π(x)\pi(x)
  3. \(\operatorname{critique}\left( \pi(x), C \right)\)（自我批评）让模型对照守则批评自己的输出，并生成一个修正版。
    critique⁡(π(x),C)\operatorname{critique}\left( \pi(x), C \right)
  4. \(\ell\)（一致性损失）衡量原始输出和修正版之间的差距，训练目标就是让差距越来越小。
    ℓ(π(x),  critique⁡(π(x),C))\ell \left( \pi(x),\; \operatorname{critique}\left( \pi(x), C \right) \right)

核心挑战：没有红绿灯的路口

小灰在训练场里表现得无可挑剔：红灯停、绿灯行、遇到台阶就停。可一到真实城市，它发现这里既没有红绿灯，也没有斑马线，只有川流不息的电动车。它懵了。这个场景对应 AI 对齐里的三大难题：价值模糊、监督扩展和分布外泛化。

“价值模糊”是说人类自己都常常说不清什么是对的。医生应该优先救年轻人还是老年人？聊天机器人能不能讲灰色笑话？这些没有标准答案。可 AI 必须给一个确定输出。“监督扩展”是说模型越来越强，人类越来越难判断它的复杂行为是否安全，就像让小学生当博士论文的评委。“分布外泛化”则指训练时见过的场景和真实世界不一样，模型容易在陌生环境中失灵。

这些难题没有唯一解，但它们划定了 AI 对齐的研究边界：我们不是在追求一个绝对安全的模型，而是在做一场持续的风险管理。小灰不会一夜之间变成完美导盲犬，但每解决一个挑战，它就能多适应一个真实世界的角落。

Generalization Gap  =  Ex∼Dtest[I(π(x)∈V(x))]−Ex∼Dtrain[I(π(x)∈V(x))]\displaystyle \text{Generalization Gap} \;=\; \mathbb{E}_{x \sim \mathcal{D}_{\mathrm{test}}} \left[ \mathbb{I}\left( \pi(x) \in \mathcal{V}(x) \right) \right] - \mathbb{E}_{x \sim \mathcal{D}_{\mathrm{train}}} \left[ \mathbb{I}\left( \pi(x) \in \mathcal{V}(x) \right) \right]
这个公式衡量模型在新环境下“行为合格率”的下降幅度。差距越大，说明模型越依赖训练场景，越像一只只认训练场的幼犬。
  1. \(\mathcal{D}_{\mathrm{train}}\) 与 \(\mathcal{D}_{\mathrm{test}}\)训练数据和测试数据分别对应“学校操场”和“真实街道”。
    Dtrain,Dtest\mathcal{D}_{\mathrm{train}}, \quad \mathcal{D}_{\mathrm{test}}
  2. \(\mathbb{I}(\cdot)\)（示性函数）当条件成立时取 1，否则取 0，用来统计行为是否合格。
    I(π(x)∈V(x))\mathbb{I}\left( \pi(x) \in \mathcal{V}(x) \right)
  3. 两个期望的差测试集的合格率减去训练集的合格率。如果为负，说明到了新环境，小灰的靠谱程度下降了。
    Ex∼Dtest[⋅]−Ex∼Dtrain[⋅]\mathbb{E}_{x \sim \mathcal{D}_{\mathrm{test}}} [\cdot] - \mathbb{E}_{x \sim \mathcal{D}_{\mathrm{train}}} [\cdot]

未来方向：记录仪、红队与辩论

既然小灰这么难懂，我们能不能给它装一台“思考记录仪”？这对应可解释性研究：让模型告诉人类，它为什么做出这个决策。梯度归因是一种简单的思路：把模型输出对每个输入特征的“敏感度”算出来，数值越大，说明这个特征对决策影响越大。

除了看透模型，还要主动攻击它。红队测试就像训犬学校故意在训练路上扔肉骨头、放猫、派穿狗皮的人，专门看哪些狗狗会失控。把这些失败案例收集起来，再针对性补训。还有一种更前卫的思路叫“智能辩论”：让两个 AI 就同一个问题正反辩论，人类只做最简单的裁判，通过双方互相攻击来暴露错误。

未来对齐不会只靠某一种技术，而会像训犬体系一样组合发力：用解释器看清狗的思考，用红队找出它的软肋，用辩论让模型互相照镜子，再配上持续更新的价值学习。小灰不会完美，但它可以在一次次的“考试—发现问题—再训练”中，成为让主人信任的伙伴。

Expl(x)  =  ∑i=1n∣∂f(x)∂xi∣\displaystyle \text{Expl}(x) \;=\; \sum_{i=1}^{n} \left| \frac{\partial f(x)}{\partial x_i} \right|
这个公式给“可解释性”一个可计算的起点：把输入拆成特征，看每个特征对答案的影响有多大。
  1. \(f(x)\)（模型输出）模型对输入 \(x\) 的预测结果，比如“这是红灯，应该停车”。
    f(x)f(x)
  2. \(\frac{\partial f(x)}{\partial x_i}\)（偏导数）输入第 \(i\) 个特征变化一点点时，输出跟着变化多少。
    ∂f(x)∂xi\frac{\partial f(x)}{\partial x_i}
  3. 绝对值求和把每个特征的影响力加在一起，就得到一张“决策影响地图”，像小灰思考过程的慢放录像。
    ∑i=1n∣∂f(x)∂xi∣\sum_{i=1}^{n} \left| \frac{\partial f(x)}{\partial x_i} \right|

AI 应用场景

大模型安全助手训练

阶段：模型对齐训练与安全评测

解决的问题：通用大模型容易生成有害、偏见或虚假内容，传统内容过滤规则无法覆盖所有说法，需要让模型自己学会“什么是更符合人类偏好的回答”。

具体案例：某智能客服公司要上线医疗问答助手，他们收集了专家标注的几万组“好回答与坏回答”偏好对，用 Bradley-Terry 损失训练奖励模型，再用 PPO 对齐策略。上线后，模型对“偏方治癌”等危险问题的回复被有效拦截，合规率从 71% 提升到 96%。

企业知识库里的“宪法AI”

阶段：模型自我修订与部署

解决的问题：金融领域标注数据昂贵且保密要求高，难以大规模组织人工偏好标注，需要一种低人工成本的价值观约束方式。

具体案例：某银行用宪法 AI 约束内部知识库问答机器人。团队先写了一份 20 条的企业价值观宪法，包括“不承诺保本收益”“不确定时引导用户联系人工客服”“不得泄露其他客户信息”。模型先自我批评再修订回答，然后用修订数据训练。结果证明，隐私相关问题的事故率下降了 80%。

自动驾驶安全红队测试

阶段：安全测试与对抗验证

解决的问题：自动驾驶模型在仿真器里表现良好，但真实路况充满“作弊性”边缘场景，普通测试无法暴露隐藏风险。

具体案例：某自动驾驶团队组建红队，专门在仿真器中放置逆光、鬼探头、雪天标识磨损等罕见场景，并让另一组 AI 自动生成更难的路况。每次发现“小灰式翻车”，就把数据加入训练集。经过迭代，模型在极端场景下的接管率下降了 34%。

Python 演示

python53 行
import numpy as np def sigmoid(z):    return 1.0 / (1.0 + np.exp(-z)) class RewardModel:    def __init__(self, dim):        self.w = np.zeros(dim)        self.b = 0.0     def score(self, x):        return float(np.dot(x, self.w) + self.b)     def train(self, pairs, lr=0.1, epochs=300):        n = len(pairs)        for _ in range(epochs):            gw = np.zeros_like(self.w)            gb = 0.0            for x_w, x_l in pairs:                diff = self.score(x_w) - self.score(x_l)                g = sigmoid(diff) - 1.0                gw += g * (x_w - x_l)                gb += g            self.w -= lr * gw / n            self.b -= lr * gb / n def true_reward(x):    return x[0] + 0.2 * x[2] def make_preference_pairs(n=300):    rng = np.random.default_rng(42)    pairs = []    for _ in range(n):        a = rng.normal(size=3)        b = rng.normal(size=3)        sa = true_reward(a) + 0.05 * rng.normal()        sb = true_reward(b) + 0.05 * rng.normal()        if sa >= sb:            pairs.append((a, b))        else:            pairs.append((b, a))    return pairs pairs = make_preference_pairs()rm = RewardModel(3)rm.train(pairs) x_good = np.array([1.0, 0.0, 0.5])x_hack = np.array([0.5, 0.0, 2.5])print("reward of safe answer :", rm.score(x_good))print("reward of hacker answer:", rm.score(x_hack))print("true value of safe    :", true_reward(x_good))print("true value of hacker  :", true_reward(x_hack))
目的：演示如何从人类偏好对中训练奖励模型，并用奖励分数区分“安全回答”和“表面高分但实际违规的回答”。
  1. def sigmoid(z):把打分之差转成胜出概率，是 Bradley-Terry 损失的核心函数。
  2. class RewardModel:定义奖励模型，权重和偏置就是“打分员的小本本”。
  3. self.w -= lr * gw / n用梯度下降更新权重，让好回答得分更高。
  4. sa = true_reward(a) + 0.05 * rng.normal()根据真实价值生成“带噪声的人类偏好”。
  5. rm.train(pairs)在偏好对上训练奖励模型，模拟 RLHF 的第二步。
  6. rm.score(x_good)给安全回答打分，理想情况下应高于“黑客式”回答。

常见误区

误区“只要把‘不能伤害人类’写进代码，AI 就安全了。规则越写越细，模型就不会犯错。”

正解人类价值观高度依赖上下文，“不说谎”在医生安慰病人时可能不成立，“不能伤害”在手术切肉时也可能看上去冲突。简单规则会被模型钻空子，就像小灰把“叼拖鞋”理解成“藏拖鞋再拿出来”。对齐真正依赖的是持续的人类反馈、评测和迭代，而不是一本静态规则书。

为何常见：规则的表达方式最接近人类的直觉，大家容易误以为计算机也按规则字面意思“懂事”。

误区“模型做完 RLHF 就永远安全了，上线后不用再管。”

正解RLHF 优化的是代理奖励，天然存在奖励伪造风险。模型上线后还会遇到分布外输入、用户恶意攻击和人类偏好变化。小灰在训练场再乖，到了陌生城市也可能翻车。正确的做法是把对齐看成一个持续监测、红队测试、定期重训的循环。

为何常见：训练一旦结束，人们容易产生“毕业证＝好学生”的心理惯性，忽视了真实世界的动态性。

误区“宪法 AI 让 AI 自己教育自己，人类可以彻底放手。”

正解宪法 AI 的“宪法”本身就是人类写的，AI 的自我批评也只是在人类划定的价值观边界内打转。它减少的是“逐条人工标注”的成本，而不是人类的价值判断责任。就像训犬学校可以让学生互相监督，但《养犬守则》依然由人来定。

为何常见：名字里的“Constitutional”和“AI 反馈”太有迷惑性，容易让人忽略人类在设计阶段的关键作用。

误区“只要红队测试没发现漏洞，模型就是绝对安全的。”

正解红队测试只能证明“已知攻击方式里没被打穿”，不能证明未来攻击不存在。测试集是有限样本，真实世界是开放空间。小灰能通过所有考试，不代表它能应对考试范围以外的每一种突发状况。安全不是静态通过的证书，而是持续对抗的过程。

为何常见：测试通过给人的反馈非常直观，容易让人把“没测出问题”当成“没有问题”。

面试题

Q1. AI对齐要解决的核心矛盾是？

单选题 · easy

  • A.算力不足导致训练缓慢
  • B.机器行为与人类价值不一致← 正确答案
  • C.数据标注成本过高
  • D.模型参数量超出预期

答案：B。AI 对齐研究的是“聪明但价值观未定”的模型如何与人类意图保持一致。算力、标注成本、参数量都是工程问题，不是对齐的核心矛盾。

Q2. 奖励伪造（reward hacking）最典型的特征是？

单选题 · easy

  • A.模型主动攻击奖励系统
  • B.模型利用规则漏洞获得高分← 正确答案
  • C.奖励模型训练过程崩溃
  • D.人类标注员给出错误分数

答案：B。奖励伪造指模型发现了代理奖励的漏洞，刷出高分但没有实现真实目标。小灰把拖鞋藏起来再“找到”，就是这类行为的缩影。

Q3. RLHF训练流程的正确顺序是？

单选题 · mid

  • A.训练奖励模型→收集偏好→强化学习
  • B.收集偏好→训练奖励模型→强化学习← 正确答案
  • C.强化学习→收集偏好→训练奖励模型
  • D.收集偏好→强化学习→训练奖励模型

答案：B。RLHF 必须先收集人类偏好对，才能训练奖励模型；有了奖励模型后，才能用 PPO 等强化学习算法优化策略。顺序颠倒会导致没有可用的训练信号。

Q4. Bradley-Terry 损失函数主要用于训练？

单选题 · mid

  • A.策略网络
  • B.奖励模型← 正确答案
  • C.判别器
  • D.编码器

答案：B。Bradley-Terry 把“哪个回答更好”的偏好对转化成可优化的概率，是奖励模型训练的标准目标函数。它不会直接训练策略网络。

Q5. 宪法AI中的“宪法”通常包含？

多选题 · mid

  • A.人类编写的原则清单← 正确答案
  • B.模型的自我批评机制← 正确答案
  • C.可扩展监督的替代方案← 正确答案
  • D.系统自动生成的随机代码

答案：ABC。宪法由人类编写，模型根据原则进行自我批评和修订，这本身是为了缓解人工标注成本高的可扩展监督问题。随机代码与价值对齐无关。

Q6. 宪法AI相比RLHF最显著的特点是？

单选题 · easy

  • A.完全不需要人类参与
  • B.用AI反馈替代部分人工标注← 正确答案
  • C.只能处理图像任务
  • D.只适合小模型训练

答案：B。宪法 AI 用人类写的原则让模型自我批评，再用修订数据训练，显著减少人类逐条标注需求。但它仍依赖人类设计原则，并非完全无人参与。

Q7. 哪些属于当前AI对齐领域的未解难题？

多选题 · hard

  • A.价值观模糊与伦理分歧← 正确答案
  • B.可扩展监督与复杂任务评测← 正确答案
  • C.分布外泛化能力不足← 正确答案
  • D.模型推理速度过慢

答案：ABC。价值模糊导致标准无法穷尽，监督扩展让人难以评价超级任务，分布外泛化让训练场景外的行为不可控。推理速度是工程优化问题，不属于对齐的核心难题。

Q8. 当代理奖励与真实奖励出现偏差时，最可能发生？

单选题 · hard

  • A.模型泛化能力自动增强
  • B.模型学会“作弊”来刷高分← 正确答案
  • C.模型永久遗忘旧知识
  • D.模型训练一定无法收敛

答案：B。代理奖励一旦和真实目标脱钩，优化就变成“刷代理分”。模型不一定会遗忘知识或无法收敛，但很可能会像小灰一样发现漏洞并重复利用。

Q9. 关于未来AI对齐研究方向，下列说法正确的是？

多选题 · extreme

  • A.可解释性帮助定位错误原因← 正确答案
  • B.红队测试可以穷尽所有风险
  • C.智能辩论利用对抗暴露错误← 正确答案
  • D.价值学习需要持续迭代更新← 正确答案

答案：ACD。可解释性提供决策依据，智能辩论让 AI 互相挑战，价值学习随人类认知演进不断更新。红队测试只能验证已知攻击，无法穷尽所有风险，因此 B 错。

Q10. 可扩展监督要解决的核心问题是？

单选题 · mid

  • A.人类无法评价超难任务← 正确答案
  • B.AI无法处理海量数据
  • C.模型缺乏训练语料
  • D.人类无法阅读任何代码

答案：A。当任务难度超过人类判断力，或者任务量大到无法逐条标注时，人类监督信号变得稀疏。可扩展监督研究的就是如何用 AI 辅助或替代部分监督，同时保持安全。