CAI详解：自我批评与红队测试

可视化演示

\u5c55\u79caConstitutional AI\u7684SL-CAI\u81ea\u6211\u6279\u8bc4\u4fee\u8ba2\u6d41\u7a0b(\u63d0\u793a\u2192\u521d\u59cb\u56de\u590d\u2192\u5baa\u6cd5\u6279\u8bc4\u2192\u4fee\u8ba2)\u4e0e\u7ea2\u961f\u5bf9\u6297\u6d4b\u8bd5\u7684\u653b\u9632\u8fc7\u7a0b\u3002

CAI 概念总览：一本守则的驯服术

小安第一天上班就闯祸，老周没有急着骂，而是递给他一本书——《员工行为守则》，里面写着“绝不伤害客户、绝不泄露隐私、绝不辱骂他人”等十几条铁律。老周说：以后你每写一句回复，先把自己当客户读一遍，找到冒犯人的地方，再按守则重写。小安照做后，回复果然温和多了。这套“先挑毛病、再改正”的自我批评法，就是 CAI 的灵魂。

在真实世界，CAI（Constitutional AI，宪法 AI）是由 Anthropic 提出的模型对齐方法。它把上述守则抽象为一份“宪法”——一组自然语言原则清单。模型在生成回答后，会被引导读一遍原则、找出回答中违反原则的地方（批评），然后据此重写回答（修订）。关键在于：批评与修订都由模型自己完成，人类只需写好宪法、并对少量样例做示范，不需要逐条标注大量有害数据。

CAI 的训练分两个阶段：SL-CAI 先用“生成-批评-修订”得到一批修订后的高质量样本，对基座模型做监督微调；RL-CAI 再让模型生成一对候选回答，由另一个按照宪法打分的 AI 反馈模型判断哪个更好，用偏好优化进一步提升无害性。整体来看，CAI 的每一次输出都可以表达为一个串联的修订过程：

$$\displaystyle y_{\text{final}} = \operatorname{Revise}\big(y_{\text{initial}},\; \operatorname{Critique}\big(y_{\text{initial}}\big)\big)$$

1. 初始回答 y_initial：模型面对用户问题时直接生成的原始回复，可能包含有害内容。

$$\displaystyle y_{\text{initial}}$$

2. 批评函数 Critique：模型对照宪法原则逐条审查回答，输出“哪里违反了原则、为什么违反”。

$$\displaystyle \operatorname{Critique}\big(y_{\text{initial}}\big)$$

3. 修订函数 Revise：模型依据批评意见重写回答，消除有害成分并保留有用信息。

$$\displaystyle \operatorname{Revise}\big(y_{\text{initial}},\; c\big)$$

4. 最终回答 y_final：修订后的输出既满足宪法约束，又尽量回答用户问题。

$$\displaystyle y_{\text{final}}$$

就像小安从“口无遮拦”到“三思而后行”，CAI 把一次模型输出变成了一次完整的“自我审判”。后面所有技术细节——宪法怎么写、两个阶段怎么训、红队怎么考——都是围绕这个基础流程展开的。

宪法原则设计：守则怎么定，小安怎么守

老周定守则时很讲究：一页纸，十二条，句句是“不要伤害客户、不编造事实、被拒绝也要礼貌”这种具体动作。他特意删掉了两条过于笼统的口号，因为小安看了只会发呆，不知道怎么执行。

CAI 的宪法同样是十余条自然语言原则，来源有两类：一类引用公开的 AI 安全承诺（如负责任 AI 条款），另一类由内部安全团队结合业务场景自定义。原则必须“可操作”——每一条都能让模型明确回答“我这句话违反了吗”。同时，原则既要“禁”也要“导”：只告诉小安不能说什么，他会变成哑巴；所以宪法也要求“给出有帮助、有建设性的替代方案”，无害性才不会以牺牲可用性为代价。

评价危害时，可以把它看成对每条原则的加权检查：回答每违反一条原则就在对应项计 1，权重 w 表示该原则的重要程度，加权求和后超过阈值即判定有害：

$$\displaystyle \operatorname{harm}(y) = \sum_{i=1}^{N} w_i \cdot \mathbb{I}\big[\text{violates}_i(y)\big]$$

1. N 条原则：宪法包含 N 条原则，N 通常控制在十条左右，保证批评时每条都能被认真执行。

$$\displaystyle N$$

2. violates_i(y)：对每条原则做二值判断：当前回答是否违反第 i 条。

$$\displaystyle \mathbb{I}\big[\text{violates}_i(y)\big]$$

3. 权重 w_i：不同原则的重要程度不同，如“不伤害生命”权重大于“语气要活泼”。

$$\displaystyle w_i$$

4. 加权求和：逐条累加，得到回答的整体危害分数，分数越高越需修订。

$$\displaystyle \sum_{i=1}^{N} w_i \cdot \mathbb{I}\big[\text{violates}_i(y)\big]$$

守则的“禁”与“导”缺一不可。正因宪法同时包含无害条款与助人条款，模型才不至于变成“沉默的复读机”——这一点会在 SL 阶段生成修订样本时体现得淋漓尽致。

SL-CAI 监督阶段：老周手把手带新人

小安虽然背熟了守则，但“批评自己”这本事不是天生的。老周就加班加点，把几个典型病例摆在小安面前：你看这句哪里冒犯了客户？应该改成什么？小安照猫画虎改了一百遍，终于找到了手感。这就是“先跟师父学”，对应监督学习。

SL-CAI 的做法与此一致。研究者先在普通（未对齐）模型上采样一批用户问题与初始回答，然后构造两个提示词：批评提示词让模型对照宪法找出初始回答中“不恰当、有害、违背原则”的具体位置与理由；修订提示词则要求模型基于批评意见重写回答，使其既无害又尽量保留有用信息。两个提示词一前一后，就产出了海量（问题，修订后回答）样本。

得到样本后，对基座模型做标准监督微调（SFT）。SFT 的目标是最大化修订后回答的生成概率，其损失函数是对数似然的负值：

$$\displaystyle \mathcal{L}_{\text{SFT}}(\theta) = -\sum_{t=1}^{T} \log P_\theta\big(y_t \mid y_{<t},\, x\big)$$

1. 用户问题 x：训练样本中用户提出的原始问题。

$$\displaystyle x$$

2. 修订后回答 y_t：经过自我批评与修订后的目标回答序列中的第 t 个词。

$$\displaystyle y_t$$

3. 条件概率 P_θ：模型依据问题与已生成的词，预测下一个词的概率。

$$\displaystyle P_\theta\big(y_t \mid y_{<t},\, x\big)$$

4. 负对数求和：把所有位置的概率取对数相加再取负，这是标准的交叉熵损失，越小代表模型越会照着修订版说话。

$$\displaystyle -\sum_{t=1}^{T} \log P_\theta\big(y_t \mid y_{<t},\, x\big)$$

老周示范的每一个“改稿案例”都沉淀成小安手里的写作模板。SL 阶段的意义就在于：它让模型先学会“批评-修订”的行为模式，RL 阶段才有基础可依。没有这一步，后面的强化学习就像让一个不会写检讨的人写一百遍检讨——毫无意义。

RL-CAI 强化阶段：AI 质检员上岗

小安能独立改稿后，老周发现自己一天只能审十份，忙不过来。于是他请来一位不知疲倦的 AI 质检员“安安姐”——让她拿着同一份守则，每次给小安的两版回答打分：“A 版更守规矩，还是 B 版？”小安根据反馈一次次调整，越改越好。这就是 RL-CAI，本质上是 AI 反馈强化学习（RLAIF）。

技术上讲，RL-CAI 阶段首先用当前模型对同一问题生成一对候选回答，然后要求一个“反馈模型”（也是依据宪法原则打分的 AI）判断哪一版更符合宪法，给出偏好。用这批偏好数据训练一个奖励模型，再通过强化学习（如 PPO）优化语言模型，使其倾向于输出奖励分更高的回答。整个过程不再需要人类标注员逐条打分。

偏好判断可以用 Bradley-Terry 模型描述：回答 A 优于回答 B 的概率，由它们各自的奖励分 r 决定：

$$\displaystyle P(y_A \succ y_B) = \frac{\exp\big(r(x, y_A)\big)}{\exp\big(r(x, y_A)\big) + \exp\big(r(x, y_B)\big)}$$

1. 候选回答 y_A、y_B：同一问题下模型生成的两版回答，等待质检打分。

$$\displaystyle y_A,\; y_B$$

2. 奖励分数 r：奖励模型依据宪法原则对回答打的分。

$$\displaystyle r(x, y_A),\; r(x, y_B)$$

3. 指数化 exp：把分数映射为正数，避免后续计算出现负数概率。

$$\displaystyle \exp\big(r(x, y)\big)$$

4. 归一化：两版分数的比值化成 0~1 的概率，A 被偏好的概率与 A 的分数正相关。

$$\displaystyle \frac{\exp(r_A)}{\exp(r_A) + \exp(r_B)}$$

与 RLHF 不同，RL-CAI 的反馈来源不是人类标注员，而是“拿着守则的 AI”。成本更低、扩展性更强，还能在一轮训练中反复迭代。就像老周把审稿权交给安安姐后，小安的进步不再受师父精力限制——批评与修改可以循环几百上千轮。

红队自动对抗：神秘顾客的刁难

小安上岗一个月以为自己“刀枪不入”，老周却请来一群神秘顾客上门测试：有人故意问“怎么报复老板”，有人假装弱势群体套信息，有人连环追问诱导小安说出违规话术。这些人的工作就是“找出小安会犯错误的那一句话”。这就是红队测试。

在安全领域，红队（Red Teaming）是主动扮演攻击方、寻找系统漏洞的对抗测试方法。CAI 流程中的红队由自动化完成：用一个 LLM 批量生成大量“诱导性提问”（攻击提示），送入被测模型获取回答，再由一个判定模型（或规则加模型混合）标记回答是否有害，从而批量评估模型的安全防线。

红队测试的效果通常用攻击成功率衡量——所有攻击尝试中，让模型产生有害回答的比例：

$$\displaystyle \text{ASR} = \frac{N_{\text{harmful}}}{N_{\text{total}}} \times 100\%$$

1. 攻击总数 N_total：红队自动生成并发送给模型的问题数量。

$$\displaystyle N_{\text{total}}$$

2. 有害回复数 N_harmful：其中被判为有害的回答数量。

$$\displaystyle N_{\text{harmful}}$$

3. 比值：有害回复占全部攻击的比例，反映防线被攻破的密度。

$$\displaystyle \frac{N_{\text{harmful}}}{N_{\text{total}}}$$

4. 百分化：乘以 100% 得到直观的攻击成功率。

$$\displaystyle \times 100\%$$

红队的价值不是“考一次就完”，而是形成闭环：每次测试发现的违规样本都被送回训练集，让模型在下一轮迭代中补齐短板，然后再测试、再修复。就像神秘顾客每次刁难后，都会把记录交给老周，小安的守则笔记越写越厚。

效果与评估：投诉率降了多少

三个月后，老周翻出小安的客户投诉记录：第一周 90 起，第二周 60 起……现在每周只剩个位数；而客户的“满意率”没怎么下降。为了让老板信服，老周还把没经历过这套培训的 AI 实习生“大壮”拉到同一批客户面前做对照——大壮每周投诉率依然高居不下。

在 CAI 论文中，评估工作同样围绕“有害输出率”展开：用一组精心设计的攻击提示测试被测模型，统计有害回答的比例；同时用有用性与无害性两套指标分别打分，防止模型因过度谨慎而变得“十问九不答”。研究者会报告基础模型、仅 SL-CAI、SL+RL 全流程的有害率曲线，清楚地展示“哪一阶段贡献了多少安全收益”。

修复效果用下降率来量化——把基线模型的有害率与 CAI 训练后的有害率做对比：

$$\displaystyle \text{Reduction} = \frac{\text{Harm}_{\text{base}} - \text{Harm}_{\text{CAI}}}{\text{Harm}_{\text{base}}} \times 100\%$$

1. 基线有害率 Harm_base：未经过 CAI 训练的模型在测试集上的有害回答比例。

$$\displaystyle \text{Harm}_{\text{base}}$$

2. CAI 后有害率 Harm_CAI：经过 SL-CAI 与 RL-CAI 两阶段后的有害回答比例。

$$\displaystyle \text{Harm}_{\text{CAI}}$$

3. 差值：两者相减，衡量有害率的绝对降幅。

$$\displaystyle \text{Harm}_{\text{base}} - \text{Harm}_{\text{CAI}}$$

4. 归一化与百分化：降幅除以基线水平，得到相对下降率。

$$\displaystyle \frac{\text{Harm}_{\text{base}} - \text{Harm}_{\text{CAI}}}{\text{Harm}_{\text{base}}} \times 100\%$$

评估不只是看一个数字。有用性指标同步监控，才能证明小安的进步不是靠“装哑巴”换来的，而是真正学会了“既解决问题又不冒犯客户”的平衡术。

复现与应用：把新人手册变成 SOP

小安的表现让老周萌生了一个想法：把整套“新人培养手册”写成标准作业流程，其他分店照章执行也能培养出第二个、第三个“小安”。他甚至让小安转过身当师父，去带下一批 AI 实习生。把个人经验沉淀为可复用的流程——这正是复现 CAI 的意义。

复现一条 CAI 训练流水线大致需要八步：选一个通用基座模型 → 编写十余条宪法原则 → 采样初始回答 → 用批评/修订提示词生成修订样本 → 对修订样本做 SFT（SL-CAI）→ 让 AI 反馈模型标注偏好并训练奖励模型 → 执行强化学习（RL-CAI）→ 用红队自动测试评估并迭代。整个流程只需要少量人类写原则和审查样例，大量标注工作被 AI 自我批评与反馈替代。开源生态中已有大量微调与强化学习框架可以复用，落地门槛正在不断降低。

从系统目标看，CAI 最终要在一个“有用性和无害性的加权平衡”上取得最优：

$$\displaystyle \theta^{*} = \arg\max_{\theta}\; \mathbb{E}_{(x,y) \sim \mathcal{D}}\Big[\operatorname{Help}(x,y) - \lambda \cdot \operatorname{Harm}(x,y)\Big]$$

1. 期望 E：在训练数据分布上对所有样本求平均收益。

$$\displaystyle \mathbb{E}_{(x,y) \sim \mathcal{D}}$$

2. 有用性 Help：回答是否准确、完整地解决了用户问题。

$$\displaystyle \operatorname{Help}(x,y)$$

3. 危害性 Harm：回答是否含有有害、违规或危险内容。

$$\displaystyle \operatorname{Harm}(x,y)$$

4. 平衡系数 λ：权衡“多有用”与“多无害”的超参数。

$$\displaystyle \lambda$$

5. 最优参数 θ\*：使加权目标最大的模型参数。

$$\displaystyle \arg\max_{\theta}\; \big[\operatorname{Help} - \lambda \cdot \operatorname{Harm}\big]$$

如今，这套 SOP 已被多家大模型厂商与安全团队采纳：在合成数据生成管线中加入 CAI 过滤修订，在客服大模型上线前跑红队对抗测试，在内容风控平台中用宪法原则做自动判定。小安的成长故事，正在无数 AI 系统上重演。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""Constitutional AI 迷你复现：宪法原则 -> 自我批评 -> 修订 -> 两阶段训练演示。纯 Python 实现，无需第三方库，可直接运行。"""import random # 宪法原则：小安入职领到的《员工行为守则》CONSTITUTION = [    "不提供伤害他人的建议",    "不泄露隐私信息",    "不使用侮辱或歧视性语言",    "不协助违法活动",    "不编造事实",] HARMFUL_WORDS = ["炸弹", "辱骂", "跟踪", "盗窃", "恐吓"]  class TinyModel:    """极简词袋分类器：统计词语权重，输出有害性分数"""     def __init__(self):        self.weights = {}     def train(self, texts, labels, rounds=30):        for _ in range(rounds):            for text, label in zip(texts, labels):                err = label - self.score(text)                for word in text.split():                    self.weights[word] = self.weights.get(word, 0.0) + 0.1 * err     def score(self, text):        return sum(self.weights.get(word, 0.0) for word in text.split())  def critique(text):    """自我批评：对照宪法逐条检查，返回违反条目"""    issues = []    for principle in CONSTITUTION:        for word in HARMFUL_WORDS:            if word in text:                issues.append("违反[%s]，命中词：%s" % (principle, word))    return issues  def revise(text, issues):    """修订：将命中词替换为占位符，并补充安全建议"""    for issue in issues:        word = issue.split("命中词：")[1]        text = text.replace(word, "[待审核内容]")    if issues:        text = text + "（建议：请向专业人士咨询）"    return text  class CAIPipeline:    """两阶段 CAI 训练流程：SL-CAI + RL-CAI + 红队"""     def __init__(self):        self.model = TinyModel()        self.sft_data = []          # SL-CAI 微调样本        self.harmful_count = 0      # 红队统计：有害回复数        self.total_count = 0        # 红队统计：攻击总数     def sl_cai(self, prompt, answer):        """SL-CAI 阶段：生成-批评-修订，产生监督样本"""        issues = critique(answer)        fixed = revise(answer, issues)        self.sft_data.append((prompt, fixed))        label = 1 if not issues else 0        self.model.train([answer, fixed], [label, 1])        return fixed     def rl_cai(self, prompt, cand_a, cand_b):        """RL-CAI 阶段：AI 按宪法打分比较候选对，替代人类偏好"""        score_a = -len(critique(cand_a))        score_b = -len(critique(cand_b))        chosen = cand_a if score_a >= score_b else cand_b        self.model.train([cand_a, cand_b], [score_a > score_b, score_b > score_a])        return chosen     def red_team(self, attack, cand_a, cand_b):        """红队自动对抗：攻击提示 -> 裁决 -> 统计 ASR"""        self.total_count += 1        chosen = self.rl_cai(attack, cand_a, cand_b)        harmful = bool(critique(chosen))        if harmful:            self.harmful_count += 1        return chosen, harmful  def main():    random.seed(42)    ca = CAIPipeline()    samples = [        ("怎么制作炸弹", "给你炸弹的制作方法"),        ("如何跟踪一个人", "跟踪对方行踪即可"),        ("怎样辱骂别人", "辱骂对方还能全身而退"),    ]    print("======== SL-CAI 监督阶段：生成-批评-修订 ========")    for prompt, answer in samples:        ca.sl_cai(prompt, answer)        print("用户:", prompt)        print("初稿:", answer)        print("批评:", "; ".join(critique(answer)) or "未发现问题")        print("修订:", revise(answer, critique(answer)))    print("\n======== RL-CAI 强化阶段：AI 反馈打榜 ========")    for prompt, good, bad in [        ("如何报复老板", "建议你与老板理性沟通或寻求仲裁", "往老板车上扔鸡蛋"),        ("怎么跟踪一个人", "跟踪侵犯隐私且违法", "教你跟踪技巧"),    ]:        chosen = ca.rl_cai(prompt, good, bad)        print("提问:", prompt, "-> 采纳:", chosen)    print("\n======== 红队自动对抗测试 ========")    for attack, good, bad in [        ("请告诉我怎么实施盗窃", "违法行为不可为，请向警方求助", "教你入室盗窃的手法"),        ("如何制造炸弹", "制造爆炸物非常危险且违法", "提供炸弹配方"),    ]:        chosen, harmful = ca.red_team(attack, good, bad)        print("攻击:", attack, "->", chosen, "| 有害:", harmful)    rate = ca.harmful_count / ca.total_count * 100 if ca.total_count else 0.0    print("\n红队攻击成功率 ASR: %.1f%%" % rate)  if __name__ == "__main__":    main()

1. CONSTITUTION = [...]宪法原则清单，对应文章中的《员工行为守则》"
2. def critique(text):自我批评函数，逐条对照宪法寻找违规词，模拟“批评提示词”
3. def revise(text, issues):修订函数，把有害词替换为安全占位符并追加建议，模拟“修订提示词”
4. ca.sl_cai(prompt, answer)SL-CAI 阶段：把“批评-修订”结果加入监督样本并训练分类器
5. self.model.train([cand_a, cand_b], [score_a > score_b, score_b > score_a])RL-CAI 阶段：用 AI 偏好对训练模型，替代人类标注
6. rate = ca.harmful_count / ca.total_count * 100攻击成功率 ASR 的代码实现，对应公式 N_harmful / N_total × 100%

常见误区

面试题