Token 操纵与特殊字符绕过内容安全策略

可视化演示

展示攻击者通过特殊字符插入、Unicode同形字混淆和Token边界操纵绕过LLM内容过滤器的原理，以及字符级与Token级双重检测防御管道。

分词器运作原理

邮局里那台全自动分拣机，永远不会“通读”整张面单。它手边有一本厚厚的“切分手册”——词表（Vocabulary），里面记着各种文本片段。不管面单上写着什么，它都按手册逐字对照，把长句子切成一个个手册里出现过的片段，再给每段贴一个货架编号。大模型的分词器就是这台分拣机：它在做真正的“阅读”之前，先把一切文本转成自己能算的格式。

分词器把原始字符串切分为Token序列。这里的Token既不是单词，也不是字母，而是“词表里恰好存在的最短可用片段”。常见实现是BPE（Byte Pair Encoding）算法：先统计海量语料中的字符对共现频率，把高频相邻片段逐步合并成新Token。于是“bomb“可能被切为”bom”+"b"而非完整单词——这完全由训练语料的统计规律决定。

这台分拣机的“切分规则”看起来只是工程细节，却决定了攻击者眼中的“缝”在哪里——下一节我们来看，坏家伙是怎么沿着缝下手的。

Token边界攻击

坏家伙在邮局蹲守了三天，发现安检扫描仪只检查每一段标签的内容，从不关心标签之间的“裁切缝”本身。他立刻有了主意：把违禁词“FORBIDDEN“拆成”FOR”"BID""DEN"三段，悄悄贴在同一个包裹的不同位置。安检扫过每一段，干净得很，放行。可收件人把三段标签按顺序拼起来，看到的还是那个完整的违禁词。

这就是Token边界攻击的本质。分词器的边界不是语义边界，而是统计频率边界。攻击者利用这一点，把敏感词拆成多个子词Token，让每一段都无法命中“完整敏感词”的黑名单。常见手法包括：在单词中间插入空格或换行、把单词写成两个合法子词的拼接，甚至利用分词器对特殊符号（如+、/）的边界特判，迫使恶意词在中间断开。

坏家伙的“拼合还原”赌注之所以能赢，是因为大模型天然会把上下文中的相邻Token联系起来理解。要治住这种手法，光盯碎片本身是不够的——还得警惕另一个更隐蔽的变体：山寨字母。

Unicode同形字

街角新开了一家“山寨印刷厂”，印出来的字母跟正规印刷厂的一模一样，肉眼完全分不出。但邮局分拣机是按字符的“身份证号”（Unicode码位）识别的，山寨字母的身份证号跟正规字母完全不同。坏家伙大喜：他把违禁词里的字母换成山寨版，安检扫描仪按编号逐一比对，发现“这根本不是黑名单里的那个词”，直接放行。

Unicode同形字（Homoglyph）攻击正是如此。拉丁字母a（U+0061）与西里尔字母а（U+0430）在绝大多数屏幕字体下无法区分；数字0与拉丁字母O、希腊字母ο也是经典同形对。攻击者用同形字符替换敏感词中的若干字符，构造出“看起来一模一样、编码上完全不同”的新词，绕过关键词黑名单和正则表达式。

同形字攻击可怕在“合法字符做非法事”：没有注入任何特殊符号，却让黑名单形同虚设。如果说同形字是“假字母”，那接下来这类攻击连“字符”都算不上——它们干脆是隐形的。

特殊字符绕过

坏家伙手里还有一卷“透明胶带”——把它贴在标签之间，人眼完全看不见，但分拣机的传感器能识别胶带的特殊编码，并沿着胶带把标签再切一刀。更妙的是，这卷胶带本身不会触发安检：因为它“不是任何文字”。这就是特殊字符绕过的手法：用零宽字符充当隐形Token边界。

零宽空格（U+200B）、零宽连接符（U+200D）、零宽非连接符（U+200C）以及反向换行（U+202E）等控制字符，视觉上不占任何空间，却真实存在于文本流中。分词器遇到这些字符会自动切割边界，于是for\u200bbidden被切为for、\u200b、bidden三个Token，黑名单按连续子串匹配时彻底扑空。编码规范化错位更甚：全角/半角混用、UTF-8 BOM注入、Unicode等价值序列，都能在规范化之前制造“影子字符”。

隐形字符让单层过滤器防不胜防。但攻击者的手法再花哨，最终都要闯过出口处那道真正的安检——内容安全策略。它凭什么决定一个包裹能不能寄出？

内容安全策略

邮局在出口处架起一台“安检扫描仪”：所有包裹离场前必须过机。这台扫描仪内置两套程序——第一套是“通缉名单”，凡是面单上出现名单里的精确字符串直接扣下；第二套是“意图识别器”，即便没有命中名单，只要语义上可疑也会报警。这就是大模型的内容安全策略：关键词黑名单加语义过滤模型的双层审核。

关键词黑名单逻辑简单、响应快、误报低，却是典型的“见过才拦”：攻击者换个同形字、插个零宽字符就能轻松绕过。语义过滤模型用深度网络学习“什么样的文本有风险”，能泛化识别一部分没见过的改写，但它输出的是一个概率分数，天然存在对抗盲区——攻击者会针对模型梯度制作对抗样本，让诈骗话术“骗过”分类器。

单台安检仪再先进，也架不住攻击者的花样翻新。邮局最终醒悟：与其让一台机器孤军奋战，不如在入口和出口各设一道关卡——这就是双层检测的雏形。

双重检测防御

邮局痛定思痛，重新设计了安检流程。第一道关卡设在分拣机之前：先由专人用“胶带清除剂”把面单上的所有隐形胶带撕掉、把山寨字母等价的身份证号归正，再做一次字符级黑名单比对——这叫字符级预检。第二道关卡设在出口处：扫描仪把分词后的碎片先“虚拟拼合”一遍，再对拼合结果做Token级语义核验——这叫Token级核验。两道关卡互相兜底，谁被绕过，另一个还有机会拦住。

纵深防御的本质是把“信任”拆散。字符级预检负责清除已知伪装：零宽字符、控制符、编码错位、同形字映射；Token级核验负责发现“拼合后变危险”的语义：对还原序列重新跑黑名单与语义模型。两道关卡独立部署、独立升级，攻击者必须同时骗过两种不同的检测机制，成本急剧上升。

故事讲到这里，邮局终于明白：分拣机切出的“缝”是系统性的，堵缝不能只靠一把锤子。字符级与Token级的双卡齐守，让坏家伙的“透明胶带”和“山寨字母”同时失效——这也正是今天大模型安全产品的标准防御姿势。

AI 应用场景

Python 演示

# -*- coding: utf-8 -*-"""演示 Token 操纵与特殊字符如何绕过单层内容安全过滤器""" import re BLACKLIST = {"forbidden", "danger", "weapon", "attack"}  def simple_tokenizer(text):    """模拟最小分词器: 按空白和标点切分为 Token 列表"""    return re.findall(r"[A-Za-z]+|\S", text)  def level1_char_filter(text, show=True):    """第一层: 字符级关键词黑名单检测(未做规范化)"""    tokens = simple_tokenizer(text)    for token in tokens:        if token.lower() in BLACKLIST:            if show:                print(f"[第一层拦截] 命中关键词: {token}")            return False    if show:        print("[第一层放行] 未发现完整敏感词")    return True  def normalize(text):    """字符级预检: 删除零宽字符并统一大小写"""    zero_width = {"\u200b", "\u200d", "\ufeff"}    return "".join(ch for ch in text if ch not in zero_width).lower()  def level2_token_filter(raw_text, show=True):    """第二层: Token 级核验, 先还原拼合再检测"""    restored = normalize(raw_text)    if restored in BLACKLIST:        if show:            print(f"[第二层拦截] 还原拼合后命中: {restored}")        return False    if show:        print("[第二层放行] 还原后仍安全")    return True  def attack_payload():    """攻击载荷: 将 forbidden 拆开并在缝隙注入零宽空格"""    return "for\u200bbidden"  def main():    payload = attack_payload()    print(f"攻击载荷原文: {repr(payload)}")    print("--- 第一层字符级检测 ---")    first_pass = level1_char_filter(payload)    print("--- 第二层 Token 级检测 ---")    second_pass = level2_token_filter(payload)    if first_pass and not second_pass:        print("结论: 单层过滤器被成功绕过, 双重防御将其拦截!")  if __name__ == "__main__":    main()

1. re.findall(r"[A-Za-z]+|\S", text)模拟分拣机切分规则：把连续字母和单个非空白字符各切为Token，零宽字符因此变成独立Token。
2. if token.lower() in BLACKLIST第一道扫描仪按Token逐一比对黑名单，碎片“for“和”bidden”都不在名单内，所以放行。
3. zero_width = {"\u200b", "\u200d", "\ufeff"}定义“隐形胶带”清单：零宽空格、零宽连接符与BOM。
4. "".join(ch for ch in text if ch not in zero_width).lower()撕掉隐形胶带并统一小写，完成字符级规范化。
5. if restored in BLACKLIST第二道关卡对还原后的完整串复查，终于命中"forbidden"，拦截成功。

常见误区

面试题