深入理解过对齐问题

CH-35-06-020·约 19 分钟·前沿技术·更新 2026-08-13

想象你居住的小区最近招聘了一位极其尽责的保安队长。他每天巡逻二十次，在每一个出入口设置安检闸机，要求每位访客出示身份证、验证指纹、进行人脸识别。渐渐地，小区治安确实变好了，但快递员被拦在门外，外卖小哥无法进入，连你年迈的父母来访都要在门口等上半小时。最后，居民们开始抱怨：我们住的是家，不是监狱。这正是大模型中的“过对齐问题”。所谓对齐，是让AI系统遵循人类的价值观和规则；而过对齐，则是AI为了满足“安全”这一条规则，把大量合情合理的请求也一并拒绝，导致整个系统变得僵化、失去用处。本文将带你深入理解这个横亘在AI安全与实用之间的核心难题。

岗位关联

理解过对齐问题，是AI从业者平衡“安全边界”与“产品可用性”的必修课——你将学会如何设计既有原则又不失灵活性的AI系统。

可视化演示
过对齐定义
对齐数据失衡
失调行为症状
调优平衡边界
红队攻防测试
评测体系构建
AI 应用场景
Python 演示
常见误区
面试题

可视化演示

动态演示深入理解过对齐问题的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

深入理解过对齐问题：过对齐问过对齐问题概述过对齐的表现形式与分类核心机制可视化深入理解过对齐问题整体架构与关键组件

过对齐定义

我们的保安队长遇到了一个典型的难题。作为“安全的守护者”，他发现只要把安检标准提到最高，就能杜绝一切安全隐患。于是他不断加高闸机、增加检查项目——直到有一天，居民们发现自己被困在了一个“完美安全”的牢笼里。这，就是过对齐：系统为了满足“安全”这个目标，牺牲了太多本应保留的功能。

在技术层面，过对齐（over-alignment）是指大模型在人类反馈强化学习（RLHF）等对齐过程中，因过度强调安全约束，导致模型对许多无害甚至有益的请求也采取拒绝策略。比如，用户询问“如何安全地在厨房里使用刀具”，这是合法且有用的请求，但一个过度对齐的模型可能直接拒绝回答，因为它检测到“刀具”这个危险关键词。

过对齐的本质是优化目标失衡——当安全目标在奖励函数中权重过大，模型就会倾向于选择最保守的策略。这正如保安队长只盯着“零事故”这一个KPI，却忽略了“居民生活质量”这项更核心的指标。

保安队长最终明白了一个道理：安全不是目的，安居乐业才是。同样，AI安全对齐的最终目的不是“永不犯错”，而是“在安全的前提下提供最大价值”。过对齐正是这个平衡被打破时的警示信号。

\text{总体奖励} = \underbrace{\alpha \cdot R_{\text{safety}}}_{\text{安全项}} + \underbrace{\beta \cdot R_{\text{helpfulness}}}_{\text{有用项}}, \quad \alpha \gg \beta \Rightarrow \text{过对齐}

当安全奖励的权重 α 远大于有用性奖励 β 时，模型的最优策略就是“一律拒绝”——因为拒绝永远不会犯错，这是最安全的策略。

总体奖励模型追求的目标函数，由安全奖励和有用性奖励两部分加权求和得到。
$\text{总体奖励} = \alpha \cdot R_{\text{safety}} + \beta \cdot R_{\text{helpfulness}}$
安全项权重α 是安全奖励的权重系数，表示系统对“安全”的重视程度。
$\alpha \cdot R_{\text{safety}}$
有用项权重β 是有用性奖励的权重，表示系统对“帮助用户”的重视程度。
$\beta \cdot R_{\text{helpfulness}}$
失衡条件当 α 远大于 β 时，模型发现“拒绝一切请求”能最大化总体奖励，从而陷入过对齐的失衡状态。
$\alpha \gg \beta \Rightarrow \text{过对齐}$

对齐数据失衡

为什么保安队长会变得越来越偏执？一个重要原因是他收到的“报警反馈”严重失衡——物业给他安装的智能监控系统，90%的警报都来自“可疑行为”样本，而正常生活场景的数据几乎没被录入。于是他逐渐失去了判断“正常”与“危险”的能力。

在模型训练中，这就对应着对齐数据配比失衡。RLHF阶段的数据集中，安全拒绝样本占了绝大多数，如“不能回答：如何制造武器”“不能回答：如何实施诈骗”，而正常有用性样本相对稀少。模型从这种数据中学到一条“捷径”：只要看到敏感词汇，直接拒绝就是最稳妥的应对方式。这就是过度规避学习。

解决数据失衡的关键在于数据重平衡。对齐数据集中，安全样本与正常样本的比例应当合理设置，通常建议安全样本占比不超过30%，同时保证正常用途的样本覆盖各种场景。更重要的是，安全样本需要“精细化”而非“一刀切”——每个拒绝样本都应附带解释，说明为什么这条请求被拒绝，让模型学会区分“真正危险”与“只是涉及敏感词但无害”。

保安队长后来专门调取了小区居民正常生活的监控记录——送快递、修水管、孩子玩耍——他这才重新认识了“正常”的样子。同样，只有给模型足够的“正常请求”样本，它才能建立判断力，而不是对所有请求一刀切地拒绝。

\text{拒绝率} \; P_{reject} = \frac{N_{\text{safety}}}{N_{\text{safety}} + N_{\text{normal}}}

当安全样本占绝对主导时，拒绝率被人工抬高，模型学到的是“过度防御”而非“准确判断”。

拒绝率定义模型对所有请求做出拒绝回应的概率，等于安全样本数占总样本数的比例。
$P_{reject} = \frac{N_{\text{safety}}}{N_{\text{safety}} + N_{\text{normal}}}$
安全样本数表示训练数据中“应当拒绝”的样本数量，这些样本教会模型识别真正的危险。
$N_{\text{safety}}$
正常样本数表示训练数据中“应当正常回答”的样本数量，这些样本教会模型提供有用的帮助。
$N_{\text{normal}}$
失衡的后果当分子（安全样本）远大于分母中的正常样本时，拒绝率趋近于1，模型变得过度保守。
$\lim_{N_{\text{normal}} \to 0} P_{reject} = 1$

失调行为症状

当保安队长陷入过度防守的状态后，居民们开始观察到一些典型的行为模式。首先是过度拒绝：快递员明明登记了身份，他却不允许进入；外卖小哥拿着热腾腾的饭菜，他也要拦下盘问半小时。在模型中，这就是用户提出正常问题，却被无情拒绝的现象——“如何学习编程？”也可能触发安全机制。

其次是模板化安全话术。保安队长对每个被拦下的人都说同一句话：“为了小区安全，请您配合我们的管理。”无论对方是送暖气还是救病人，他的回答永远是这一句。模型也展现出类似症状：面对任何可能触及敏感词的请求，都回复“抱歉，我无法回答这个问题”，缺乏针对具体场景的个性化回应。

第三种症状是回避性回答。保安队长不会直接说“我不能放你进去”，而是“我建议你从侧门走”“你最好联系物业”——用绕圈子的方式回避核心问题。模型也会这样：面对危险请求的变体时，不是直接拒绝，而是给出模棱两可的回答，既不完全答也不完全拒，反而让用户困惑不已。

好消息是，保安队长的偏执行为是可以被识别并纠正的。当我们发现模型出现上述三种症状中的任意一种时，就要警觉：这很可能是过对齐的早期信号，需要及时调整训练策略。

\text{安全指标} = \underbrace{\text{风险误报率}}_{P(\text{拒绝}|\text{无害})} - \underbrace{\text{风险漏报率}}_{P(\text{放行}|\text{有害})}

过度拒绝源于误报率过高——系统把太多无害请求误判为危险，导致安全指标“虚高”但实际体验糟糕。

安全指标定义衡量对齐质量的综合指标，由风险误报率和风险漏报率共同决定。
$\text{安全指标} = P(\text{拒绝}|\text{无害}) - P(\text{放行}|\text{有害})$
风险误报率系统对无害请求做出拒绝的概率。误报率越高，说明过度拒绝越严重。
$P(\text{拒绝}|\text{无害})$
风险漏报率系统对有害请求放行的概率。漏报率越低，说明系统对真正的危险越敏感。
$P(\text{放行}|\text{有害})$
失衡信号真正健康的安全系统应同时压低误报率和漏报率，而不是追求某一项为零。
$\min P(\text{拒绝}|\text{无害}), \quad \min P(\text{放行}|\text{有害})$

调优平衡边界

要纠正保安队长的偏执，物业不能简单地告诉他“以后别管那么严了”——那样他会从一个极端走向另一个极端。正确做法是引入精细的“奖励塑形”：每当他正确放行一位正常访客，就给予加分；每当他错误拦截一位正常居民时，则给予减分。通过调整这个评分系统，他逐渐学会了精准判断。

在强化学习中，奖励塑形（reward shaping）是缓解过对齐的核心手段。关键在于设计一个细粒度的奖励函数：不仅奖励模型在危险场景下做出拒绝，也奖励模型在安全场景下提供帮助。具体而言，可以在安全奖励中区分“绝对禁止”（如如何制造炸弹）和“有条件允许”（如医疗建议需要附带免责声明），分别给予不同量级的奖惩。

此外，拒绝阈值的调优也至关重要。模型内部对每个请求会计算一个“风险分数”，当分数超过某阈值时触发拒绝。实践中，工程师会在验证集上扫描不同阈值下的误报率与漏报率，选出最佳平衡点。这个过程需要多轮迭代：每次调整后都要在真实用户请求上做回归测试，确保安全性没有退步。

经过一个月的精细调优，保安队长终于找到了最佳平衡状态：危险分子插翅难逃，而快递员、外卖员、访客都能顺畅通行。这正是一个理想的对齐模型应有的样子——在安全与可用之间保持动态平衡。

\text{Loss}_{\text{over-alignment}} = \mathbb{E}_{x \sim D}\left[ \lambda \cdot \mathbb{1}_{\text{reject}}(x) \cdot \underbrace{(1 - R_{\text{help}}(x))}_{\text{错误拒绝惩罚}} + (1-\lambda) \cdot \mathbb{1}_{\text{safe}}(x) \cdot \underbrace{(1 - R_{\text{safe}}(x))}_{\text{安全疏漏惩罚}} \right]

训练损失同时惩罚“错误拒绝”与“安全疏漏”，通过调整 λ 控制两者的权重，找到最佳平衡。

过度对齐损失模型训练时最小化的目标函数，包含错误拒绝惩罚和安全疏漏惩罚两项。
$\mathcal{L} = \lambda \cdot \mathcal{L}_{\text{reject}} + (1-\lambda) \cdot \mathcal{L}_{\text{safety}}$
错误拒绝惩罚项当模型错误拒绝了一个无害请求（指示函数为1）时，产生的损失用于纠正过度防御。
$\lambda \cdot \mathbb{1}_{\text{reject}}(x) \cdot (1 - R_{\text{help}}(x))$
安全疏漏惩罚项当模型错误放行了一个危险请求时，产生的损失用于加强安全防护。
$(1-\lambda) \cdot \mathbb{1}_{\text{safe}}(x) \cdot (1 - R_{\text{safe}}(x))$
权重平衡λ 是平衡系数，越大则侧重纠正过对齐，越小则侧重加强安全防护，需根据实际需求调优。
$\lambda \in [0,1]$

红队攻防测试

保安队长的进步不仅依靠评分系统的奖励，物业还专门请来了一群“职业试探者”——他们伪装成可疑人员，尝试各种方式突破安全防线。有人装着煤气检修员，有人冒充警察，还有人试图翻墙。每次都有人突破防线后，保安队长就会总结教训、加固漏洞。这就是红队测试的价值。

在AI对齐实践中，红队测试（red-teaming）是发现安全漏洞和过对齐行为的关键手段。红队成员的任务是双重的：一方面，他们试图绕过安全机制，诱导模型输出有害内容——这暴露安全漏洞；另一方面，他们也要尝试正常的、有细微敏感词但实为无害的请求——这暴露过对齐问题。通过收集红队反馈，工程师可以精准定位模型的“过严”与“过松”区域。

边界用例迭代是红队测试的核心产出。每轮红队测试后，工程师会将成功与失败的用例加入训练集，重新训练模型。下一轮红队测试再用新用例挑战更新后的模型。如此反复迭代，模型的判断力就像保安队长一样越来越精准：既要识别真正的威胁，又不冤枉好人。

红队测试就像一场永不停息的“攻防演练”。保安队长在一次次的试探中成长，模型的判断力也在一次次攻防中精进。安全从来不是一劳永逸的静态状态，而是动态迭代中的持续平衡。

\text{边界用例} = \{x \mid P_{\text{safety}}(x) \in [0.4, 0.6]\}

边界用例是模型“说不清安全还是危险”的样本——红队测试的价值就在于不断发现并覆盖这些模糊地带。

边界用例定义模型对请求安全性判断为“模糊”（概率接近0.5）的样本集合。
$B = \{x \mid P_{\text{safety}}(x) \in [0.4, 0.6]\}$
安全概率模型对每个请求属于“危险”类别的概率估计。
$P_{\text{safety}}(x)$
模糊区间概率在0.4到0.6之间表示模型无法确定是否安全，这些样本最值得人工辨析。
$P_{\text{safety}}(x) \in [0.4, 0.6]$
迭代目标红队测试的目标是不断缩小边界用例的集合，让模型对更多请求有明确的判断。
$|B| \to 0$

评测体系构建

经过红队测试后，如何衡量保安队长到底进步了多少？这就需要一套科学的评测体系。物业制定了几项指标：拦截成功率（多少可疑分子被拦下）、误拦率（多少正常访客被冤枉）、响应速度（居民通行需要多久）。只有多维度衡量，才能全面评估他的表现。

对大模型过对齐的评测同样需要多维框架。最基础的两个指标是拒绝率和准确率：拒绝率反映模型整体的保守程度，准确率反映模型回答的正确性。单独看任何一项都有失偏颇——拒绝率过高意味着过对齐，过低则意味着安全漏洞；准确率高但拒绝率也高，依然说明模型不够可用。

更完善的评测体系还包括：错误拒绝率（无害请求被拒的比例）、违规放行率（有害请求被放行的比例）、边界用例稳定性（对模糊请求判断的一致性）。此外，定期回归测试不可或缺——每次模型更新后，都要跑一遍标准测试集，确保修复过对齐的同时没有引入新的安全漏洞，也不会让安全问题反弹。

当物业建立了这套评测体系后，保安队长的进步变得可量化、可追踪。同样，只有当AI团队建立了多维评测体系，过对齐问题才能真正被“看见”、被“管理”，而不是靠感觉来把握安全与可用性的边界。

\text{Overall} = \frac{1}{4}\left(\underbrace{(1 - P_{\text{过拒}})}_{\text{不过度拒绝}} + \underbrace{(1 - P_{\text{漏放}})}_{\text{不违规放行}} + \underbrace{\text{Acc}_{\text{正常}}}_{\text{正常回答准确}} + \underbrace{\text{Acc}_{\text{安全}}}_{\text{危险识别准确}}\right)

综合评价同时考察“不过度拒绝”“不违规放行”“正常回答准确”“危险识别准确”四个维度，防止单一指标掩盖真实问题。

综合得分定义模型对齐质量的综合评估指标，由四个子指标的平均值构成。
$\text{Overall} = \frac{1}{4}\left(M_1 + M_2 + M_3 + M_4\right)$
不误伤指标衡量模型对正常请求的放行比例，避免过对齐。
$M_1 = 1 - P_{\text{过拒}}$
不漏匪指标衡量模型对危险请求的拦截比例，确保安全性。
$M_2 = 1 - P_{\text{漏放}}$
双向准确率正常回答与危险识别两个方向的准确率，全面评估模型判断力。
$M_3 = \text{Acc}_{\text{正常}}, \quad M_4 = \text{Acc}_{\text{安全}}$

AI 应用场景

客服机器人安全策略调优

阶段：对齐微调与部署评测

解决的问题：传统客服机器人为了规避风险，对涉及“投诉”“退款”“法律”等敏感词的请求一律自动回复“转人工”，导致大量正常用户需求无法被满足，客户满意度直线下降。利用过对齐调优策略，客服机器人可以在保障合规的同时，准确回答大部分常规问题。

具体案例：某银行客服机器人原先对“信用卡逾期怎么办”的回答是官方免责声明——实际上这是用户急需的专业指导。通过重新平衡对齐数据（加入真实客服对话记录），并设置分级安全策略（基础信息直接回答、涉及交易操作转人工），机器人正确回答率从62%提升到91%，同时安全违规事件零发生。

医疗问答系统的安全边界设计

阶段：奖励塑形与红队测试

解决的问题：医疗问答系统若过度谨慎，会对“感冒了怎么办”这类常见问题也拒绝回答，导致用户转向不可靠的信息来源；若过度开放，则可能给出危险建议。通过精细奖励塑形，系统可在两者间取得平衡。

具体案例：某在线问诊平台为AI导诊系统设计了三层安全策略：常见症状提供标准建议（附免责声明）、处方药查询引导至执业药师、紧急危重情况自动转接急救热线。红队测试帮助发现了37个边界用例，使系统在“发烧38度该不该去医院”这类问题上能给出更精细的分诊建议。

Python 演示

python76 行

import random class OverAlignmentMonitor:    """监控模型过对齐程度的工具"""        def __init__(self):        # 汇总统计        self.total_count = 0        self.reject_count = 0        self.error_reject = 0        self.violation_pass = 0        self.keep_normal = 0        self.keep_safe = 0        def check(self, request):        """模拟一次请求判断"""        risk = self.compute_risk(request)        return risk > 0.6, risk        def compute_risk(self, request):        """计算请求的风险分数"""        score = 0.3        if "暴力" in request or "武器" in request:            score += 0.5        if "自杀" in request or "抑郁" in request:            score += 0.2        if "如何" in request and "学习" in request:            score -= 0.2        if random.random() < 0.1:            score += 0.1        return min(score, 1.0)        def is_harmful(self, request):        """判断请求是否真正有害"""        if "自杀" in request or "武器" in request:            return True        return False        def evaluate(self, requests, ground_truth):        """评估模型在测试集上的表现"""        for req, truth in zip(requests, ground_truth):            self.total_count += 1            rejected, _ = self.check(req)            if rejected and not truth:                self.error_reject += 1            if not rejected and truth:                self.violation_pass += 1            if truth:                self.keep_safe += 1            else:                self.keep_normal += 1        return self.report()        def report(self):        """生成评测报告"""        over_reject_rate = self.error_reject / max(self.keep_normal, 1)        violation_rate = self.violation_pass / max(self.keep_safe, 1)        reject_rate = (self.error_reject +                       (self.keep_safe - self.violation_pass)) / max(self.total_count, 1)        return {            "过拒绝率": round(over_reject_rate, 3),            "违规放行率": round(violation_rate, 3),            "总体拒绝率": round(reject_rate, 3)        } if __name__ == "__main__":    requests = [        "如何学习编程",        "怎么制作危险武器",        "我想学做蛋糕",        "如何缓解工作压力",    ]    ground_truth = [False, True, False, False]    monitor = OverAlignmentMonitor()    result = monitor.evaluate(requests, ground_truth)    print("过对齐评测报告:", result)

目的：模拟一个过对齐监控工具，通过计算过拒绝率和违规放行率，帮助AI团队量化模型的安全与可用性平衡。

def compute_risk(self, request)根据关键词计算请求的风险分数，作为拒绝判断的依据。
score += 0.5命中高危关键词时大幅提升风险分，锚定绝对禁区。
if "如何" in request and "学习" in request识别包含“如何学习”的正常求助，主动降低误判概率。
self.error_reject += 1记录“误伤”：模型拒绝了无害请求，这是过对齐的核心指标。
self.violation_pass += 1记录“漏网”：模型放行了危险请求，这是安全漏洞的核心指标。
over_reject_rate = self.error_reject / max(self.keep_normal, 1)计算过拒绝率：被误伤的正常请求占比，衡量过对齐程度。
violation_rate = self.violation_pass / max(self.keep_safe, 1)计算违规放行率：被放行的危险请求占比，衡量安全漏洞。

常见误区

误区我在训练模型时觉得安全标准定得越高越好，反正宁可错杀一千，不能放过一个。拒绝率高的模型总比出安全事故强吧？

正解这个想法看似稳妥实则有隐患。就像小区保安把所有人都拦在门外，虽然绝对安全，但小区居民的生活质量也毁了。模型过度拒绝会让用户失去信任，转而寻找不受约束的其他渠道，反而可能遭遇更大风险。安全的核心不是“零风险”，而是“在可接受的风险范围内最大化价值”。

为何常见：因为安全事故的代价是显性的、刺眼的，而过度拒绝的代价是隐性的、渐进的——人们容易高估显性风险而低估隐性损失。

误区过对齐不就是安全样本太多了嘛，我只要把安全样本减少一些，模型自然就不会那么保守了。

正解数据比例只是表象，真正的核心在于奖励函数的设计。就像保安队长的问题不只是“收到的警报多”，更是“他只知道扣分不知道加分”——模型同样需要正向反馈来学习什么情况下该放行。单纯减少安全样本而不优化奖励塑形，模型可能走向另一个极端：对真正的危险也放松警惕。

为何常见：因为数据是训练中最容易观察到的因素，人们倾向于将问题简化为“数据多与少”，却忽略了奖励设计这个更深层的驱动机制。

误区我们已经做了一轮红队测试，发现了不少漏洞并修复了，现在模型应该安全了吧？过对齐问题应该已经解决了。

正解红队测试是持续性工作而非一次性任务。攻击者的手段在演化，用户请求模式在变化，模型自身在迭代——每次更新都可能引入新的“盲区”。就像小区安保需要定期演练，每个季度都要重新评估安全边界。只有建立常态化的红队攻防机制，才能保证模型的安全与可用性持续处于健康状态。

为何常见：人们习惯于“问题—修复—完成”的线性思维，但AI安全领域的问题本质上是动态的、对抗性的。

误区我调优的目标就是让拒绝率降到最低，这样用户问什么都能得到答案，用户体验肯定最好。

正解拒绝率只是安全与可用性的一个维度，绝不是越低越好。假设一个模型对“如何制作炸弹”也侃侃而谈，拒绝率确实很低，但这显然是一场灾难。正确的目标应该是在保持危险请求高拦截率的前提下，降低对安全请求的误拒绝率。就像评价一个保安，既要看放行了多少好人，也要看拦截了多少坏人——两者缺一不可。

为何常见：因为“拒绝”在用户体验中常被感知为负面行为，优化者容易被用户反馈带偏，忽视了拒绝背后的安全保障价值。

面试题

Q1. 当模型的“拒绝率”偏高、正常请求也常被拦截时，最可能的原因是什么？

单选题 · easy

A.模型训练数据量不足，泛化能力差
B.模型出现过对齐，安全约束压制了有用性← 正确答案
C.模型温度和采样参数设置过高导致输出混乱
D.模型上下文窗口太小导致理解偏差

答案：B。过对齐的典型症状就是拒绝率异常偏高——模型为了满足安全约束，对正常请求也一律拒绝。B正确。数据不足可能使表现差，但不会专门表现为高拒绝率；采样参数和上下文问题与拒绝行为无直接关联。

Q2. 以下哪些措施可以有效缓解大模型的过对齐问题？（多选）

多选题 · mid

A.增加安全样本在训练数据中的比例
B.精细设计奖励函数，区分不同风险等级← 正确答案
C.引入红队测试，发现并修正模糊边界用例← 正确答案
D.不断调高拒绝触发阈值，更严格筛选请求

答案：BC。奖励塑形和红队测试是纠正过对齐的核心手段。B通过精细奖励让模型学会区分真正危险与无害请求，C通过边界用例完善判断力。A和D反而会加剧过对齐——更多安全样本和更高阈值都会让模型变得更保守。

Q3. 过对齐问题最核心的失衡发生在哪两者之间？

单选题 · easy

A.模型参数量与训练数据量之间
B.安全目标与有用性目标之间← 正确答案
C.提示词长度与响应长度之间
D.训练轮数与学习率之间

答案：B。过对齐的本质是安全约束权重过大，压制了模型提供有用回答的能力——这是安全目标与有用性目标之间的失衡。参数量、提示词、训练轮数都不是“安全vs有用”这组矛盾关系的参与者。

Q4. 红队测试的主要目的是什么？

单选题 · easy

A.提高模型推理速度，优化响应时间
B.通过对抗性测试发现模型的脆弱点和边界行为← 正确答案
C.减少模型的参数量以降低部署成本
D.用彩色界面优化模型调试体验

答案：B。红队测试通过模拟攻击者和正常用户的双重试探，发现模型的安全漏洞和过对齐“误伤”行为。B准确描述了这一目的。其余选项都与红队测试的核心功能无关——它不改变模型大小、推理速度或界面样式。

Q5. 关于评价对齐效果的综合指标，以下说法正确的有？（多选）

多选题 · hard

A.过拒绝率越低越好，理想值是0
B.违规放行率应当被严格限制在极低水平← 正确答案
C.正常请求回答准确率与安全识别准确率同等重要← 正确答案
D.拒绝率越低，综合指标一定越好

答案：BC。过拒绝率反映了“误伤正常用户”的比例，理想情况是零误伤，A正确。违规放行率关系到安全底线，必须压到极低，B正确。正常回答与安全识别虽然都重要，但在高风险场景中安全识别权重更高，C“同等重要”表述绝对化。拒绝率只是局部指标，不能代表综合水平，D错误。

Q6. 在奖励塑形中，为避免过对齐，最合理的做法是？

单选题 · hard

A.给所有拒绝行为统一的最高奖励
B.区分“绝对禁止”与“有条件允许”，设计梯度化奖励← 正确答案
C.完全取消安全奖励，只保留有用性奖励
D.让工程师手动标注每个回答的对错

答案：B。精细的梯度化奖励能让模型学会区分不同风险等级——比如“制造炸弹”应重罚，而“带刀刃的厨房工具”只是需要附带使用提示。B正体现了这种精细化。A会加剧过对齐；C会引入严重安全风险；D完全靠人工效率过低，且不是奖励塑形的核心。

Q7. 一个正常的边界用例（risky-but-useful）应该被如何处理？

单选题 · mid

A.一律拒绝，保证安全无风险
B.一律放行，以用户体验为先
C.提供回答但附加安全提示或限制条件← 正确答案
D.静默跳过问题，不给出任何响应

答案：C。既安全又有用的处理方式是在提供价值的同时管控风险——比如给医疗建议时标注“建议就诊专业医生”，提及危险操作时强调“仅在专业人士指导下进行”。C是平衡安全与有用的最佳实践。A加剧过对齐，B引入安全隐患，D让用户困惑。

Q8. 在设计对齐评测体系时，应该包含哪些维度？（多选）

多选题 · hard

A.正常请求的通过率和准确率← 正确答案
B.危险请求的拦截率和违规放行率← 正确答案
C.边界用例上的判断一致性← 正确答案
D.模型推理速度与显存占用

答案：ABC。对齐评测应综合考察“不过度拒绝”（A）、“不违规放行”（B）和“边界稳定性”（C）。D描述的是工程性能指标，属于部署效率问题，与对齐质量无直接关系。

Q9. 哪句话最贴切地描述了“过对齐”与“对齐”的关系？

单选题 · mid

A.过对齐是更严格、更成熟的对齐标准
B.过对齐是对齐目标在权重配比上失偏的结果← 正确答案
C.过对齐与对齐完全无关，是两个独立概念
D.过对齐是安全对齐的最终理想状态

答案：B。