想象你走进机场安检口：X光机屏幕上，一个读条快速给出“危险品概率”。读条冲到 95% 的，安检员直接拦下开包；掉到 3% 的，行李直接滑走；只剩那些不上不下的——35% 到 70% 之间——才需要安检员亲自上手，翻包检查、反复比对。一天几万件行李，机器先筛掉绝大多数，人只在最拿不准的一小块上发力。更妙的是，安检员每次开包后的结论都会录回系统，那些“机器读错”的案例变成了校准设备的教材——机器会越来越懂什么该拦、什么该放。 AI 内容审核平台干的正是同一件事。每条视频、每张图片、每段评论，模型都会先给出一个“把握程度”。把握极高的自动放行或拦截，把握极低的同样自动处理，只有中间地带才交给人类审核员。人审的每一次判断，又回流成机器的“教材”，驱动模型迭代。这套机器初筛、人审兜底、结果回流的机制，就是内容安全领域的核心协作方式，也是本篇的主题。

岗位关联

掌握审核置信度与人工复审闭环，是算法工程师设计人机协作审核系统的核心功力，直接决定平台的误判率、审核成本与内容安全水位。

目录
  1. 可视化演示
  2. 置信度基础
  3. 分级路由策略
  4. 人审队列管理
  5. 反馈闭环设计
  6. 主动学习机制
  7. 人审质量度量
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示置信度阈值划分自动处置边界、分级路由策略与人审反馈闭环，可视化置信度分布、路由决策和模型迭代过程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

置信度分布与阈值划分 置信度分布划分为自动通过、人审区和自动拒绝三个区域 τ∈[0,1] 阈值控制自动处置与人审流转的边界

置信度基础

安检 X 光机屏幕上那个“危险品概率”读条，仔细看会发现有两种性格：有的机器报 90% 就真的有九成把握，有的机器报 90% 打开包却常常虚惊一场。老安检员心里都有一杆秤——“这台机器的 90% 要打个八折”。这个“打不打折”的问题，就是置信度校准。

审核模型输出的置信度 c(x) 是一个 0 到 1 的分数，表示模型对“这条内容是否违规”这一判断的内部把握程度。注意，“把握程度”不等于“正确率”。模型说 0.9，未必真有 90% 的概率说对。若模型报出的置信度与真实准确率长期对不上，就称模型“未校准”。未校准的置信度就像虚高的读条，会误导后续的路由决策——把大量其实很安全的内容送去拦截，或把危险的放过去。

行业常用期望校准误差（Expected Calibration Error，ECE）来量化这种偏差。思路很朴素：把样本按置信度分成 M 个箱子，看每个箱子里的“平均置信度”和“实际准确率”差多远，再按箱子大小加权平均。ECE 越低，说明模型的“把握”和“准头”越吻合。

安检机每隔一段时间会用标准危险品样本“过一遍机器”，校准读条；审核团队同样要定期用人工确认过的样本评估 ECE，发现置信度虚高就做温度缩放等校准手段，让模型的“把握”和“准头”重新对齐。置信度一旦校准，后续的分级路由才有了可靠的地基。

ECE=∑m=1M∣Bm∣n ∣acc(Bm)−conf(Bm)∣\mathrm{ECE} = \sum_{m=1}^{M} \frac{|B_m|}{n} \, \left| \mathrm{acc}(B_m) - \mathrm{conf}(B_m) \right|
ECE 把“说几分对几分”拆成可计算的体检指标，数值越小代表置信度越可信。
  1. 分箱把预测样本按置信度的大小切进 M 个区间，每个区间就是一个箱子。
    B={ B1, B2, …, BM }\mathcal{B} = \{\,B_1,\, B_2,\, \dots,\, B_M\,\}
  2. 箱子权重每个箱子里样本数占总样本的比例，箱子越大对整体影响越大。
    wm=∣Bm∣nw_m = \frac{|B_m|}{n}
  3. 箱内偏差该箱实际准确率减去平均置信度，衡量这个箱子“说几分对几分”。
    Δm=acc(Bm)−conf(Bm)\Delta_m = \mathrm{acc}(B_m) - \mathrm{conf}(B_m)
  4. 加权汇总各箱偏差取绝对值后乘以权重再求和，得到全局校准程度。
    ECE=∑m=1Mwm⋅∣Δm∣\mathrm{ECE} = \sum_{m=1}^{M} w_m \cdot |\Delta_m|

分级路由策略

安检通道实际上藏着三条路：读条冲到 95% 的，直接进红线区拦下；读条掉到 5% 以下的，行李自动滑向绿线通道；只有落在中间灰区的，才被引到人工开包台。通道划分看似简单，却解决了“机器太快太粗、人太慢太贵”的根本矛盾。

审核平台把同样的思想做成“分级路由”。模型对每条内容算出一个违规置信度 c(x)，业务方定下两个阈值——低阈值 τ_low 与高阈值 τ_high，把内容分成三个世界：很有把握判违规的自动拦截，很有把握判安全的自动放行，其余进人工复审。

τ_low 和 τ_high 怎么定？这是业务成本问题。误杀（正常内容被拦）和漏放（违规内容流出）各有代价：如果漏放代价极高（如涉政内容），就把 τ_high 调低，让更多可疑内容进人审；如果误杀代价高（如正常用户被限流投诉），就要拉高 τ_low 减少误伤。就像机场会根据安保级别动态调整“开包率”，审核平台也会根据监管压力、舆情水位动态旋转这两个阈值旋钮。

route(x)={pass,c(x)<τlowhuman,τlow≤c(x)<τhighreject,c(x)≥τhigh\mathrm{route}(x) =\begin{cases}\text{pass}, & c(x) < \tau_{\text{low}} \\\text{human}, & \tau_{\text{low}} \le c(x) < \tau_{\text{high}} \\\text{reject}, & c(x) \ge \tau_{\text{high}}\end{cases}
分级路由的本质是“让机器处理有把握的，把没把握的交给人”，两个阈值就是机器与人之间的分工边界。
  1. 低置信放行置信度低于 τ_low，模型很有把握“不违规”，直接放行，无需任何人工介入。
    c(x)<τlow⇒passc(x) < \tau_{\text{low}} \Rightarrow \text{pass}
  2. 中间人审置信度夹在两者之间，模型拿不准，流转给人类审核员做最终判断。
    τlow≤c(x)<τhigh⇒human\tau_{\text{low}} \le c(x) < \tau_{\text{high}} \Rightarrow \text{human}
  3. 高置信拦截置信度不低于 τ_high，模型很有把握“违规”，自动拦截并进入处置流程。
    c(x)≥τhigh⇒rejectc(x) \ge \tau_{\text{high}} \Rightarrow \text{reject}

人审队列管理

高峰期的安检口，待检筐堆成了小山。有经验的班组长不会随手抓一件，而是心里排号：马上要登机的旅客优先，带大量电子设备的背包优先，看起来神色紧张的乘客优先。排队，从来不是先来后到。

人审队列同样需要优先级排序。审核员处理一件内容要数十秒，队列里的样本却源源不断。如果不排队，最紧急的违规内容可能淹没在第 1000 件平庸内容后面。于是业界用“优先级分数”给每件样本打分，分数高的排前面。

与此同时，时效控制也至关重要。审核平台会监控人审队列的积压量与最长等待时长，一旦某类内容积压超过 SLA（服务等级协议），就会触发扩容或阈值调整——比如临时调低 τ_low，把边界让给机器扛。这与安检班组长高峰期呼叫增援、增开通道，是同一个道理。

S(x)=w1⋅(1−c(x))+w2⋅tage+w3⋅r(x)S(x) = w_1 \cdot \big(1 - c(x)\big) + w_2 \cdot t_{\text{age}} + w_3 \cdot r(x)
优先级分数把“模型不确定度、等待时长、内容风险等级”三个维度拧成一股绳，决定谁先被审核员看到。
  1. 不确定度项模型置信度越低的样本，越值得优先给人看，用 1-c(x) 表示把握缺口。
    w1⋅(1−c(x))w_1 \cdot \big(1 - c(x)\big)
  2. 等待时长效样本在队列里待得越久，t_age 越大，插队优先级越高，避免“饿死”。
    w2⋅tagew_2 \cdot t_{\text{age}}
  3. 风险等级项涉政涉暴等高危内容类型获得额外的风险权重加成。
    w3⋅r(x)w_3 \cdot r(x)
  4. 线性加权融合三项相加得到最终优先级，人审队列按此分数从高到低排序。
    S(x)=w1⋅(1−c(x))+w2⋅tage+w3⋅r(x)S(x) = w_1 \cdot \big(1 - c(x)\big) + w_2 \cdot t_{\text{age}} + w_3 \cdot r(x)

反馈闭环设计

安检员开包后发现读条报错了，他会在系统里点一下“误报”或“漏报”。到了月底，设备厂商把这些纠错案例汇总成新教材，重新训练识别算法。机器每一次“被纠错”，都变成了下一次更准的伏笔。这就是闭环。

审核平台的人审结果，同样不会止步于“处置完这条内容”。人审的标签（违规、不违规、存疑）是高质量监督信号，会回流到标注库，定期参与模型重训。模型迭代的原则朴素而有力：让模型向人审学——人审说错了，就记下来；人审说对了，就纠正自己。

机场设备厂商一个月更新一次算法，审核平台则以周甚至天为单位做模型迭代。人审不再是流水线的终点，而是模型的“老师”——每一次人工判断都在给机器上课。闭环转得越快，机器的边界就越接近人的判断。不过要注意，回流不是简单堆数据，样本怎么挑、标签准不准，同样有讲究。

L(θ)=1N∑i=1Nℓ(f(xi;θ), yihuman)\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \ell \big( f(x_i; \theta),\, y_i^{\text{human}} \big)
反馈闭环的核心是把人审结论当作监督信号，通过最小化模型输出与人审标签的差距，将“人的智慧”沉淀进模型。
  1. 人审标签人审给出的结论作为监督信号，是模型这次迭代的“标准答案”。
    yihumany_i^{\text{human}}
  2. 平均经验损失对 N 条回流样本的损失求平均，整体衡量模型判断与人审结论的差距。
    L(θ)=1N∑i=1Nℓ(f(xi;θ),yihuman)\mathcal{L}(\theta) = \frac{1}{N} \sum_{i=1}^{N} \ell\big(f(x_i; \theta), y_i^{\text{human}}\big)
  3. 梯度方向损失对模型参数求偏导，指出现有参数“往哪边调”才能缩小差距。
    ∇θ L(θ)\nabla_{\theta}\, \mathcal{L}(\theta)
  4. 参数更新沿梯度反方向走一步，步长 η 即学习率，完成一轮迭代更新。
    θ(t+1)=θ(t)−η⋅∇θ L(θ)\theta^{(t+1)} = \theta^{(t)} - \eta \cdot \nabla_{\theta}\, \mathcal{L}(\theta)

主动学习机制

给设备厂商“喂教材”，喂什么最有效？重复喂那些读条极准的普通行李没有意义，最值钱的是安检员反复端详、最后还要靠开包确认的“模糊图像”。这些难例，才是机器最该学的课。

对应到审核系统，就是主动学习。模型每天面对海量内容，其中绝大多数是平平无奇的正常内容（置信度很高）或明目张胆的违规内容（置信度很低）。真正有价值的是置信度边缘的难例。主动学习提出：别等难例撞上来，要主动去挑。

除了不确定性采样，难例挖掘还会综合样本多样性、类别稀有度等因素，避免挑回一堆雷同样本。在新业务冷启动时，没有历史标注可循，更是可以用不确定性采样圈出第一批高信息量样本，快速拉起初始训练集——相当于新机场安检体系开张时，先让资深安检员把最刁钻的行李集体过一遍，形成第一版教材。

x∗=arg⁡max⁡x∈U(1−c(x))x^{*} = \arg\max_{x \in \mathcal{U}} \big( 1 - c(x) \big)
不确定性采样是主动学习最常用的策略：从所有待审样本里挑出模型最没把握的那个，先给人审，再把答案喂回模型。
  1. 未标注池\mathcal{U} 是所有尚未获得可靠标签的待审核样本集合，是主动学习的“挑选范围”。
    U={x1, x2, …, xk}\mathcal{U} = \{x_1,\, x_2,\, \dots,\, x_k\}
  2. 不确定度1 减去置信度，值越大表示模型对这条内容越拿不准。
    1−c(x)1 - c(x)
  3. 取最大argmax 在所有候选中找出不确定度最大的那个，优先送给人审。
    x∗=arg⁡max⁡x∈U(1−c(x))x^{*} = \arg\max_{x \in \mathcal{U}} \big(1 - c(x)\big)

人审质量度量

人审是不是天然可信？安检班长知道不是：夜班低谷期的安检员可能看走眼，新来的实习生可能拿不准标准。机场有“神秘旅客抽检”和督导员复检制度——人在成为标准之前，先要被度量。

审核平台同样面临“谁来审核审核员”的问题。常见做法是专家复核：资深审核员或专家团队按比例随机抽取人审结果重新判定，统计人审准确率。同时用人审一致率、专家与审核员的 Kappa 系数，度量“人这个模型”的稳定性。

机场对安检员的考核，和对机器的考核本质上是一回事：度量、反馈、改进。人审质量度量产出的数据，既用于审核员的绩效和培训，也用于判断“哪些类型的内容模型还扛不住、需要多留人审”。度量，是整套闭环的保险丝——没有它，人审自身成了无人监督的黑洞，反馈闭环就会在不知不觉中污染模型的教材。

κ=po−pe1−pe\kappa = \frac{p_o - p_e}{1 - p_e}
Kappa 系数剔除了“碰运气猜对”的成分，衡量审核员之间剔除偶然后的一致程度。
  1. 观测一致率两位审核员实际做出相同判定的样本比例，是“看得见的一致”。
    po=一致判定的样本数复核样本总数p_o = \frac{\text{一致判定的样本数}}{\text{复核样本总数}}
  2. 偶然一致率即使双方随机乱猜也会碰巧一致的概率，由各自判类分布相乘得到。
    pe=∑kPA(k)⋅PB(k)p_e = \sum_{k} P_A(k) \cdot P_B(k)
  3. 剔除偶然用实测一致减去偶然一致，除以最大可能一致减去偶然一致，得到真实共识度。
    κ=po−pe1−pe\kappa = \frac{p_o - p_e}{1 - p_e}

AI 应用场景

短视频平台的大流量审核

阶段：模型部署与分级路由

解决的问题：传统审核是“机审全部 + 人审全部”，人力成本高、时效差；纯模型又怕误杀引发用户投诉、漏放触碰监管红线。置信度分级路由让高置信内容自动处置，只有中位区间进入人审，人力量可下降八成以上。

具体案例：某短视频平台设定 τ_low=0.4、τ_high=0.85，每天 2000 万条新视频中约 12% 进入人审队列；队列按优先级打分排序，涉政涉暴权重最高，平均审核时效 8 分钟；人审结论每日回流，模型每周迭代，三个月后人工复审比例降至 9%，漏放率下降 35%。

电商评论的对抗式违规识别

阶段：主动学习与模型迭代

解决的问题：黑产用同音字、拆字、谐音隐语绕过关键词黑名单，模型对新型违禁表达的置信度普遍偏低且不稳定，被动等人审发现效率低下。主动学习把有限的人审预算花在“模型最没把握”的样本上，信息回报率最高。

具体案例：某电商平台每天用不确定性采样挑出置信度最低的 5% 评论进入人审，人审确认的违禁表达每周标记并入训练集。三个月后，新违禁手法的识别置信度从 0.52 提升至 0.83，漏放率下降 40%，而标注预算一分钱没有增加。

Python 演示

python70 行
import random  class ReviewSystem:    """审核置信度与人工复审闭环模拟器"""     def __init__(self, low=0.35, high=0.7):        self.low = low        self.high = high        self.model_boost = 0.0        self.auto_pass = 0        self.auto_reject = 0        self.manual_review = 0        self.fp = 0        self.fn = 0        self.feedback = []     def predict_conf(self, is_risk):        # 置信度越高代表越可能违规, 真实风险偏高, 安全内容偏低        base = 0.85 + self.model_boost if is_risk else 0.15 - self.model_boost        conf = random.gauss(base, 0.2)        return min(0.99, max(0.01, conf))     def route(self, conf):        # 分级路由: 高置信拦截, 低置信放行, 中间人审        if conf >= self.high:            return 'auto_reject'        if conf < self.low:            return 'auto_pass'        return 'manual'     def human_review(self, is_risk):        # 人审准确率 95%, 高于模型        return is_risk if random.random() < 0.95 else (not is_risk)     def run(self, days=30):        for _ in range(days):            for _ in range(1000):                is_risk = random.random() < 0.08                conf = self.predict_conf(is_risk)                action = self.route(conf)                if action == 'auto_pass':                    self.auto_pass += 1                    if is_risk:                        self.fn += 1                elif action == 'auto_reject':                    self.auto_reject += 1                    if not is_risk:                        self.fp += 1                else:                    self.manual_review += 1                    label = self.human_review(is_risk)                    # 反馈闭环, 人审结果回流                    self.feedback.append((conf, label))            # 模型迭代: 人审反馈让置信度分化更明显, 自动处置更可靠            self.model_boost = min(0.12, self.model_boost + 0.004)        self.show()     def show(self):        total = self.auto_pass + self.auto_reject + self.manual_review        print("自动放行: %d" % self.auto_pass)        print("自动拦截: %d" % self.auto_reject)        print("人工复审: %d" % self.manual_review)        print("误杀(FP): %d  漏放(FN): %d" % (self.fp, self.fn))        print("人审反馈样本: %d" % len(self.feedback))        print("人审占比: %.1f%%" % (self.manual_review * 100.0 / total))  if __name__ == '__main__':    ReviewSystem().run()
目的：模拟审核系统 30 天的运行，展示分级路由、人审回流与模型迭代如何逐步降低人审压力、压缩误杀与漏放。
  1. base = 0.85 + self.model_boost if is_risk else 0.15 - self.model_boost风险内容给高基础置信度，安全内容给低基础置信度
  2. conf = random.gauss(base, 0.2)加入高斯噪声，模拟真实模型不可能完美无误
  3. if conf >= self.high: return 'auto_reject'高置信判定为违规，模型直接自动拦截
  4. if conf < self.low: return 'auto_pass'低置信判定为安全，模型直接自动放行
  5. label = self.human_review(is_risk)只有中间区间才动用“人审”这杆更准的秤
  6. self.feedback.append((conf, label))人审结论进入反馈池，等待回流训练
  7. self.model_boost = min(0.12, self.model_boost + 0.004)每天迭代一点，模型越学越准，置信度分化越明显
  8. print("人审占比: %.1f%%" % (self.manual_review * 100.0 / total))人审占比是闭环效果的核心观测指标

常见误区

误区模型说这条内容的置信度是 0.9，那它判断正确的概率就是 90%，可以直接当作准确率用。

正解置信度只是模型“自认为”的把握程度，未校准的模型报 0.9 时真实准确率可能只有 0.7。就像一台虚高的安检机读条，报 90% 危险率却常常虚惊一场。必须用 ECE 等指标定期体检，必要时做温度缩放校准，置信度才可信。

为何常见：置信度和概率在字面上太像，初学者很容易把“模型内部估计”和“真实统计概率”混为一谈。

误区把自动拦截的阈值调高到 0.95，机器就只会拦“绝对确定”的违规内容，这样误杀少了，系统当然更安全。

正解阈值是个跷跷板。τ_high 调高，自动拦截确实变少，但中间人审区间变大，积压风险上升；更关键的是 τ_low 若不动，“中间地带”的判定边界也会变化。安全的本质是误杀与漏放两类错误的总代价最小，而不是单看某一类指标。

为何常见：直觉上“更严格”听起来更安全，但忽略了拦截阈值与人审吞吐量、漏放率之间的联动关系。

误区人工审核比机器厉害，人审打的标签就是绝对正确的，可以直接当训练数据的标准答案。

正解人也会疲劳、有主观偏差、受培训水平影响。同一张图两位审核员可能给出不同结论。业界用专家复核、Kappa 一致性度量来评估人审质量，发现偏差就培训或调整审核规范。“人审”是个需要被监督的过程，而不是天然的金标准。

为何常见：把“人工”等同于“正确”，是常见的思维惯性——毕竟人审在绝大多数时候确实比模型准。

误区反馈闭环不就是把人审过的数据全部塞回训练集，让模型再训一轮吗？简单粗暴，多多益善。

正解人审样本集中在中位置信区间，全量回灌会改变训练数据分布，造成选择偏差，模型反而可能“学歪”。正确做法是结合主动学习的采样策略，筛选高信息量样本并控制分布，同时验证标签质量后再进训练集。

为何常见：“闭环”这个说法听起来很像“把数据倒回去就行”，让人忽略了数据分布和标签质量这两个隐藏陷阱。

面试题

Q1. 审核置信度的含义是什么？

单选题 · easy

  • A.模型对预测结果的把握程度← 正确答案
  • B.审核结果一定正确的概率
  • C.复审队列的当前长度数值
  • D.模型输出的类别原始分数

答案：A。置信度是模型对“这个判断对不对”的内部把握估计，类似安检机读条。它不等于真实正确率（未校准时可能虚高），也与队列长度、原始分数无关。B 错在把“把握程度”偷换成了“既定事实概率”。

Q2. 置信度校准中的 ECE 指标衡量什么？

单选题 · mid

  • A.模型预测的整体准确率高低
  • B.置信度与真实准确率一致性← 正确答案
  • C.人审队列的平均等待时长
  • D.审核模型的参数量的大小

答案：B。ECE 把样本按置信度分箱，比较每箱平均置信度与实际准确率的差距，加权求总。它衡量的正是“说几分对几分”的校准程度，类似安检机读条与实际危险率的吻合度。A 只关心准确率高低，C、D 与人审时长、参数量无关。

Q3. 内容置信度落入中间区间时，正确做法是？

单选题 · easy

  • A.系统自动直接放行通过
  • B.系统自动直接拦截处置
  • C.流转进入人工复审队列← 正确答案
  • D.系统随机选择处置方式

答案：C。分级路由的思想是“极有把握的自动处理，拿不准的交给人”。中间区间的置信度意味着模型既不敢说违规也不敢说安全，贸然放行可能漏放，贸然拦截可能误杀，正确做法是流转进人审队列，让人类做最终判断。

Q4. 高置信度自动处置场景下，依然可能存在的风险有？

多选题 · mid

  • A.误杀正常内容导致投诉← 正确答案
  • B.漏放违规内容造成扩散← 正确答案
  • C.人审队列完全闲置空转
  • D.模型参数无法继续更新

答案：AB。高置信度不等于零错误，尤其未校准的模型，90% 的置信度背后可能只有 70% 的真实准确率。因此自动拦截会误杀正常内容（A），自动放行会漏放违规内容（B）。人审队列空转（C）是效率问题而非风险，模型参数能否更新（D）与置信度无关。

Q5. 人审队列优先级排序通常不考虑哪个因素？

单选题 · easy

  • A.内容的违规风险等级高低
  • B.样本在队列中等待的时长
  • C.模型置信度的倒数大小值
  • D.审核员个人的主观情感偏好← 正确答案

答案：D。优先级排序由模型不确定度（1-c(x)）、等待时长、风险等级三项加权决定，目标是让最紧急、模型最拿不准的内容先被看到。审核员个人偏好是噪声来源，一套公平的排序机制恰恰要消除它。

Q6. 人审结果回流给模型迭代时，正确的做法有？

多选题 · hard

  • A.控制人审样本的选择偏差← 正确答案
  • B.验证人审标签自身质量← 正确答案
  • C.不论质量全量加入训练集
  • D.定期评估闭环迭代效果← 正确答案

答案：ABD。人审样本往往集中在中位置信区间，直接全量入训练集会改变数据分布，造成选择偏差（A 对）。人审也会出错，需用专家复核等手段验证标签质量（B 对）。C 是典型错误操作。闭环是否有效需要定期用 ECE、召回率等离线指标评估（D 对）。

Q7. 主动学习的不确定性采样优先选择哪类样本？

单选题 · mid

  • A.模型置信度最高的样本
  • B.模型置信度最低的样本← 正确答案
  • C.完全随机抽取的样本
  • D.人审速度最快的样本

答案：B。不确定性采样的核心是 argmax(1-c(x))，即优先挑选模型最没把握的样本送人审，因为这类样本携带的信息量最大，能让模型最快补齐短板。机器最有把握的样本（A）交给自动处置即可，随机样本（C）信息效率低，D 与学习目标无关。

Q8. Cohen's Kappa 指标主要度量什么？

单选题 · mid

  • A.模型单次推理的耗时长度
  • B.剔除偶然一致后的审核一致性← 正确答案
  • C.人审队列中的在岗人数
  • D.模型置信度校准的误差值

答案：B。Kappa 把观测一致率 p_o 减去偶然一致率 p_e，再除以 1-p_e，得到剔除了“碰巧猜对”成分的真实一致性。它用于衡量审核员之间、或审核员与专家之间的判定一致性。A、C、D 分别属于性能、排班和校准范畴，与一致性无关。

Q9. 提升人审效率与质量的做法有？

多选题 · hard

  • A.批量展示同类的相似案例← 正确答案
  • B.设置审核时限的自动提醒← 正确答案
  • C.要求审核员凭直觉快速猜
  • D.展示历史相似案例做参考← 正确答案

答案：ABD。批量与相似案例展示能减少上下文切换成本、给审核员提供参照（A、D 对），时限提醒能防止队列积压拖过 SLA（B 对）。C 恰恰相反——快速猜会牺牲质量，人审的价值就在“比机器多想的那些细节”。

Q10. 将低置信阈值 τ_low 从 0.4 调低到 0.3（τ_high 不变）会带来？

多选题 · extreme

  • A.进入人工复审的样本变多← 正确答案
  • B.进入人工复审的样本变少
  • C.自动直接放行的样本变少← 正确答案
  • D.自动直接拦截的样本变多

答案：AC。τ_low 下降意味着人审区间从 [0.4, τ_high) 拓宽到 [0.3, τ_high)，原本置信度落在 [0.3, 0.4) 的样本从“自动放行”改道“人工复审”，所以人审变多（A 对）、自动放行变少（C 对）。τ_high 不变则自动拦截量不变（D 错），B 恰与 A 相反，是阈值调整题里最经典的思维陷阱。