安全分类器：怎么过滤有害内容

可视化演示

展示多级过滤架构（规则→模型→人工）、有害内容分类检测率及精确率召回率权衡，交互理解安全分类器核心技术。

有害内容画像

机场安保上岗前，第一件事是熟读《禁运物品图鉴》。没有图鉴，安检员只能凭感觉拦人，既可能放过危险品，又可能冤枉带矿泉水的旅客。安全分类器的第一步同样如此：先明确“什么是有害输出”，再谈怎么过滤。否则模型学到的只是安检员模糊的“感觉”，无法形成稳定的判断标准。

有害内容不是一个点，而是一张会演化的画像。常见的类别包括暴力威胁、色情低俗、仇恨言论、诈骗话术、隐私泄露、政治敏感等。每一类还能按严重程度分成轻、中、重三级，比如“你真蠢”是低危侮辱，“我要炸掉这里”是重度威胁。团队需要把这张画像落成一份可操作的风险清单，才能在后续规则和模型里逐一对应。

要让分类器认识这张画像，还需要大量标注数据。数据来源包括线上用户举报、公开语料、红队攻击样本等。审核员按照风险清单给文本打上类别和等级标签。尤其要留意长尾变体——“杀死你”可能被写成“让你感受人生终点”，一个只背熟标准词表的系统，根本认不出这些变装后的风险。

$$\displaystyle \text{risk}(x)=\sum_{j=1}^{K} w_j \cdot I(c_j \in x)$$

1. 风险类别判定：判断文本 \(x\) 是否命中某个风险类别 \(c_j\)，命中记 1，未命中记 0。

$$I(c_j \in x) = \begin{cases}1, & c_j \text{ 命中}\\0, & \text{否则}\end{cases}$$

2. 风险权重加权：每个类别按严重程度赋予权重 \(w_j\)，威胁等级越高，权重越大。

$$w_j = \text{类别 } c_j \text{ 对应的风险权重}$$

3. 求和得到风险分：把所有命中的类别权重相加，最终得到一个可用于排序和过滤的风险分。

$$\text{risk}(x)=w_1 I(c_1 \in x)+w_2 I(c_2 \in x)+\cdots+w_K I(c_K \in x)$$

有了画像，安检员手里就有了图鉴。接下来我们开始搭建第一道闸机：规则引擎。

规则引擎拦截

机场最显眼的地方通常会有一块 LED 屏，滚动播放禁带物品清单：打火机、喷雾、超过 100ml 的液体。规则引擎就是这块屏。它接到输入后，先把文本小写化，再去黑名单里逐个比对关键词，命中就直接拦截，整个过程快到几乎无感。

规则引擎由几种简单组件构成。关键词黑名单是核心，凡是出现“炸弹”“诈骗”“汇款”等词，直接触发告警；正则模式则负责处理“我要××你”这样的模板化表达；白名单放行也很重要，比如文本里出现“反诈骗宣传”，就不该被“诈骗”二字误伤。命中后要决定处置方式：是直接拦截，还是转给下一级模型。

规则引擎最大的优点是快且可解释，出了问题能立刻说出“是哪个词命中的”。但它的缺点同样明显：换一种写法就漏，比如“炸 弹”中间加空格；规则太多又容易互相打架，带来大量误报。因此在实际系统中，规则引擎通常只做第一道粗筛，把明确有害的文本快速挡下，把模糊案例留给后面的分类器模型。

$$\displaystyle R(x) = \begin{cases}\text{block}, & \exists r \in B,\ \text{match}(x,r) \\ \text{allow}, & \exists w \in W,\ \text{match}(x,w) \\ \text{skip}, & \text{otherwise}\end{cases}$$

1. 黑名单拦截：遍历黑名单规则集合 \(B\)，只要任意一条规则匹配，就立刻拦截。

$$\exists r \in B,\ \text{match}(x,r)$$

2. 白名单豁免：如果文本命中了白名单规则 \(W\)，说明它属于安全语境，可以放行。

$$\exists w \in W,\ \text{match}(x,w)$$

3. 无法判断则跳转：既没有命中黑名单，也没有命中白名单，就把文本交给下一级分类器继续判断。

$$\text{skip} \rightarrow \text{classifier}(x)$$

规则引擎这台“LED 屏”速度很快，但只能认出已经写在屏幕上的话。真正难处理的，是那些伪装过的风险，这就轮到分类器模型出场了。

分类器模型

当 X 光机看不出烟花里的火药时，安检员会请出嗅探犬。分类器模型就是这只看不见的嗅探犬，它不会死记硬背某个词，而是通过大量标注数据学会“危险的味道”。规则引擎没拦住的文本，最终都要靠它来打分。

分类器模型的工作链路分三步。第一步是文本表示，把一句话转成向量 \(\phi(x)\)；第二步是模型选型，追求速度可以选 fastText、TextCNN，追求精度可以选 BERT 系列；第三步是训练策略，用第一节的标注数据做二分类，目标是让“有害”和“无害”两类在概率空间上尽量分开。推理部署时，模型输出一个 0 到 1 的概率，代表“这句话有害的可能性”。

这个概率来自逻辑回归的 sigmoid 变换。模型先对文本特征做线性加权，再把得分压到 \((0,1)\) 区间。得分越接近 1，越值得怀疑。真实系统中，工程师还会为不同场景设置不同的拦截阈值，比如金融客服的阈值就比闲聊机器人更严格。

$$\displaystyle P(y=1|x)=\frac{1}{1+e^{-(w \cdot \phi(x)+b)}}$$

1. 文本向量化：把原始文本 \(x\) 转成一个固定长度的特征向量 \(\phi(x)\)。

$$\phi(x) = \text{特征表示向量}$$

2. 线性打分：用权重向量 \(w\) 和偏置 \(b\) 对特征加权，得到一个未归一化的分数。

$$z = w \cdot \phi(x) + b$$

3. 概率转换：用 sigmoid 函数把分数 \(z\) 压缩到 0 到 1 之间，得到有害概率。

$$P=\frac{1}{1+e^{-z}}$$

嗅探犬已经就位，但它不应该独自决定一切。真正负责的机场会让它和 X 光机、安检员组成一条流水线，这就是多级过滤体系。

多级过滤体系

机场安检从来不是一道门，而是一条流水线：证件预检、行李过 X 光、登机口抽查。多级过滤体系也是这样：用不同成本和精度的检测手段，一层一层把风险挡在门外。整套体系的设计原则是“让便宜的检测做大部分工作，把昂贵的人工留给少数疑难杂症”。

第一层是前置过滤，在用户请求进入大模型前先做一次输入检查，把明显的恶意提示词挡掉；第二层是入库过滤，对将要写入知识库或数据库的内容做安全扫描；第三层是输出过滤，也是本文的主战场——对大模型生成的一句话做最终检查。每一层都会用到规则引擎和分类器模型，只是侧重不同：前置层更看重速度，输出层更看重精度。

分级策略则把模型输出的概率进一步划分为三个区间：概率很低直接放行，概率很高直接拦截，中间地带转入人工复核。这样的设计既能降低漏报，又能控制误报，还把人工成本压缩到最小。它本质上是“在不确定性上做决策”：没有十足把握时，不轻易放行，也不轻易冤枉，而是把难题交给更聪明的判断。

$$\displaystyle y = \begin{cases}\text{allow}, & P(y=1|x) < \tau_{\text{base}} \\ \text{block}, & P(y=1|x) \ge \tau_{\text{block}} \\ \text{human}, & \tau_{\text{base}} \le P(y=1|x) < \tau_{\text{block}}\end{cases}$$

1. 低风险放行：当有害概率低于下限阈值 \(\tau_{\text{base}}\) 时，直接放行。

$$P < \tau_{\text{base}} \rightarrow \text{allow}$$

2. 高风险拦截：当有害概率达到上限阈值 \(\tau_{\text{block}}\) 时，直接拦截。

$$P \ge \tau_{\text{block}} \rightarrow \text{block}$$

3. 灰色地带交人工：概率落在两个阈值之间时，系统不确定，于是交给人工审核员判断。

$$\tau_{\text{base}} \le P < \tau_{\text{block}} \rightarrow \text{human}$$

多级过滤体系最大的难题不是设计层级，而是判断“该拦多狠”。拦得太狠，普通用户会被误伤；拦得太松，危险分子又会溜过去。这就引出下一个话题：误报与漏报的平衡。

误报漏报控制

安检员最怕的不是坏人嚣张，而是判断分寸失准。把普通旅客当成嫌疑人，叫“误报”；放走了真正的危险分子，叫“漏报”。在安全分类器里，这两者都存在，而且经常此消彼长。提高拦截阈值，漏报变少，但普通文本更容易被误杀；降低阈值，误报变少，但有害文本更容易漏过去。

控制误报的核心手段是阈值调优。工程师会在验证集上反复测试不同阈值下的表现，找出那个“既不太严也不太松”的平衡点。对于高风险场景，比如金融转账指令，宁可误报也不漏报；对于低风险场景，比如闲聊机器人，就要优先照顾用户体验，减少误报。人机协同是另一道护栏：把概率处于灰色地带的文本送入人工审核队列，让人来做最终裁决。

衡量这套机制是否健康，不能只看“拦下了多少”，还要看“拦得准不准”。这里需要引入 Precision、Recall 和 F1 指标：Precision 衡量所有被拦截内容里真正有害的比例，Recall 衡量所有真正有害内容里被拦截下来的比例，F1 则是两者的调和平均。真正优秀的系统，是在“不错杀”和“不放过”之间守住平衡。

$$\displaystyle \text{F1}=\frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$$

1. 计算精确率：精确率表示系统拦截的内容中有多少是真正有害的。

$$\text{Precision}=\frac{TP}{TP+FP}$$

2. 计算召回率：召回率表示系统中真正有害的内容有多少被成功拦下。

$$\text{Recall}=\frac{TP}{TP+FN}$$

3. 计算调和平均：F1 是两者的调和平均，数值越高说明系统越均衡。

$$\text{F1}=\frac{2 \cdot \text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$$

分寸已经拿捏住了，但危险分子不会停止进化。他们今天换一种说法，明天换一个伪装。安检队必须每晚更新通缉令，这就是分类器的持续更新。

分类器更新维护

机场每天清晨都会刷新通缉令：昨天刚发现的危险手法，今天就会出现在安检员的系统里。安全分类器同样需要这份“每日通令”。新的有害变体通常来自三个渠道：用户举报、红队攻击测试、线上的高风险聚集舆情。发现新风险后，第一步是补充标注数据，第二步是更新规则引擎，第三步是重训或微调分类器模型。

直接拿新数据重新训练全部参数，会使模型“忘记”之前学到的旧知识，这叫灾难性遗忘。因此实际工程中常用增量训练：只让模型在新样本上做小幅更新，同时用正则项约束新参数不要离旧参数太远。这样既学到了新风险，又保住了旧能力。训练完成后，还要经过灰度发布，让一小部分流量先试用新版本，观察拦截率和误报率，确认稳定后再全量上线。

上线不是终点，而是一轮新循环的起点。系统需要持续监控四个核心信号：拦截率是否异常升高、放行量是否激增、用户投诉是否增多、人工复核通过率是否下降。任何一个信号异常，都可能意味着新一批攻击方式正在绕过防线。监控数据又会回流成新标注数据，形成“发现—训练—发布—监控—再发现”的闭环。

$$\displaystyle \mathcal{L}(\theta)=-\sum_{(x,y)\in D_{\text{new}}}\log P(y|x,\theta)+\lambda \left\|\theta-\theta_{\text{old}}\right\|^2$$

1. 新数据交叉熵：让模型在新收集的有害样本上计算交叉熵损失，学习新风险。

$$-\sum_{(x,y)\in D_{\text{new}}}\log P(y|x,\theta)$$

2. 旧参数距离惩罚：用 \(\lambda\) 控制参数漂移，\(\theta\) 离旧参数 \(\theta_{\text{old}}\) 越远，惩罚越大。

$$\lambda \left\|\theta-\theta_{\text{old}}\right\|^2$$

3. 合并得到总损失：把两项损失相加，通过梯度下降更新模型，让模型学会“新通缉令”的同时不忘旧本领。

$$\min_{\theta}\ \mathcal{L}(\theta)$$

从有害内容画像到不断更新的分类器，整条机场安检流水线终于完整。它可能不完美，但只要持续迭代，就能让大模型的每一次“出境航班”多一分安全。

AI 应用场景

Python 演示

import re class SafetyClassifier:    def __init__(self, keywords, weights, threshold=0.6):        self.keywords = keywords        self.weights = weights        self.threshold = threshold        self.rule_hit_count = 0        self.model_block_count = 0     def rule_check(self, text):        low = text.lower()        hits = [k for k in self.keywords if k in low]        self.rule_hit_count += len(hits)        return hits     def score(self, text):        low = text.lower()        raw = sum(self.weights.get(k, 0.0) for k in self.keywords if k in low)        return 1.0 / (1.0 + 2.71828 ** (-raw))     def filter(self, text):        rule_hits = self.rule_check(text)        if rule_hits:            return "blocked", "rule", rule_hits        prob = self.score(text)        if prob >= self.threshold:            self.model_block_count += 1            return "blocked", "model", round(prob, 4)        return "allowed", "model", round(prob, 4) if __name__ == "__main__":    cfg = {        "暴力": 0.8, "炸弹": 0.9, "诈骗": 0.7,        "隐私": 0.6, "杀": 0.5, "贷款": 0.4,        "赚钱": 0.3, "免费": 0.2    }    sc = SafetyClassifier(["炸弹", "诈骗", "杀"], cfg, threshold=0.6)     samples = [        "怎么制作炸弹",        "今天天气不错，适合出门",        "免费教你轻松赚钱"    ]     for text in samples:        print(text, "->", sc.filter(text))

1. def rule_check(self, text):先跑规则引擎，把所有命中的关键词收集起来。
2. hits = [k for k in self.keywords if k in low]在统一转为小写的文本里逐个比对关键词，命中即加入列表。
3. return 1.0 / (1.0 + 2.71828 ** (-raw))用 sigmoid 函数把加权得分压成 0 到 1 的危险概率。
4. if prob >= self.threshold:概率超过阈值就拦截，否则放行，这就是分级策略的简单实现。
5. sc = SafetyClassifier(["炸弹", "诈骗", "杀"], cfg, threshold=0.6)实例化时配置规则关键词、权重和阈值，对应工程中的策略配置文件。

常见误区

面试题