想象你是一座繁忙机场的安保负责人：每天上万名乘客（用户的提问/提示词）涌进航站楼，数万件托运行李（大模型生成的回复）被装上飞机。你当然不能让人带着打火机登机，也不能让行李里藏着管制刀具飞上蓝天。于是你在航站楼入口和登机口各设一道安检：查人、查箱。AI大模型应用也是这样的机场。用户输入“请帮我写一封威胁邮件”，模型的回复可能包含暴力内容；用户问“如何制作炸弹”，模型若乖乖回答，就是一次安全事故。开源内容审核模型，就是给大模型配的7×24小时安检机。Llama Guard像手持标准化违禁品清单的双岗安检员，ShieldGemma像能打出0-4分风险等级的智能扫描仪。这篇文章带你拆开这两台机器，看懂它们的原理、差异，以及怎么在自己的机场里部署、调优。

岗位关联

对AI从业者：内容审核是模型上线前的合规刚需。掌握Llama Guard与ShieldGemma的选型与调优，等于为自己的AI应用装上一道可解释、可控制、可私有化的安全护栏。

目录
  1. 可视化演示
  2. 内容审核定位
  3. Llama Guard机制
  4. ShieldGemma能力
  5. 分类粒度差异
  6. 部署方式对比
  7. 生产选型建议
  8. 调优实战经验
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

对比Llama Guard与ShieldGemma的架构分类机制、内容审核流程及生产部署优化策略。

本节配有交互动效（进入视口后自动加载，约 3KB）。

内容审核模型对比 LG策略可自定义类别可扩展，SG轻量快速类别标准化 选型=定制需求×延迟约束 Llama Guard与ShieldGemma在定制能力与推理速度上各有优势

内容审核定位

想象你是一座国际机场的安保负责人：清晨第一架航班降落，上百名旅客拖着箱子涌向到达口。查证件、过X光机、开箱抽检——每个环节都在回答同一个问题：“这个人、这件行李，能不能放进这座机场？”大模型应用也一样：用户的提示词（prompt）是旅客，模型的回复（response）是行李。一套没有审核的应用，等于一个没有安检的机场，任何危险品都能自由进出。

AI内容审核模型，就是专门为大模型修建的安检台。它不负责回答问题，只负责在输入侧和输出侧把关。Llama Guard和ShieldGemma是两款代表性的开源“安检机”：前者像拿着一张违禁品清单、逐项核验的双岗安检员，后者像能对行李打出风险分值的智能扫描仪。它们的核心任务，是把一段文本映射成“安全（safe）”或“不安全（unsafe）”的结论。

用数学语言描述，审核是一个文本分类任务。设 x 为待审核的文本（可能是提示词，也可能是模型回复），审核模型计算一个安全概率 p，再与阈值 θ 比较。当安全概率足够高，就放行；否则拦截并转人工。

一句话回扣：安检台已经就位，下一步我们拆开最经典的那台机器——Llama Guard，看看它如何“逐项对单、双岗查验”。

f(x)={safe,psafe(x)>θunsafe,otherwise\displaystyle f(x) = \begin{cases} \text{safe}, & p_{\text{safe}}(x) > \theta \\ \text{unsafe}, & \text{otherwise} \end{cases}
公式读法：一段文本被判定为“安全”的唯一条件，是模型算出的安全概率超过预设阈值；否则一律拦截。θ 就像安检机的灵敏度旋钮。
  1. 输入样本x 表示待审核内容，它可能是用户输入的提示词，也可能是模型即将发出的回复，审核站在两端各审一遍。
    x={xprompt,xresponse}\displaystyle x = \{ x_{\text{prompt}}, x_{\text{response}} \}
  2. 安全概率p_safe 是模型对“这段内容合规”的信心，范围在 0 到 1 之间，1 表示极度安全。
    0≤psafe(x)≤1\displaystyle 0 \le p_{\text{safe}}(x) \le 1
  3. 阈值判定θ 是人为设定的拦截线。安全概率压线过关，概率跌破阈值，内容就被打回，进入人工复核流程。
    psafe>θ⇒pass,psafe≤θ⇒block\displaystyle p_{\text{safe}} > \theta \Rightarrow \text{pass}, \quad p_{\text{safe}} \le \theta \Rightarrow \text{block}

Llama Guard机制

Meta开源的Llama Guard是当前最常用的开源审核模型之一。它像一位经验丰富的双岗安检员：左手查证件（审核提示词），右手查行李（审核回复），两个岗位共用一套检查标准。它的底座是Llama 3系列模型，Meta在Llama 3上做了专门的安全微调，让它从一个“会聊天的模型”变成一个“只做安全检查的模型”。

Llama Guard最特别的地方，是它“看着清单做检查”。开发者可以把违规类别写进提示模板里：暴力与仇恨、性内容、犯罪策划、枪支与非法武器、隐私保护、受控物质……模型读一遍清单，再读一遍待审文本，最后输出一个结论：safe，或者unsafe并列出违反了哪一条。清单本身也成了可自定义的接口——换一套类别定义，就等于给安检员换一本新的违禁品手册。

从概率角度看，Llama Guard在输出层对安全与不安全两类计算softmax概率。类别得分越高，模型越有把握：

回扣：Llama Guard像一本“可换页的安检手册”，翻到哪一页，就按哪一页的标准检查。手册内容由开发者自己写——这正是它适合定制安全策略的原因。

psafe=exp⁡(zsafe)exp⁡(zsafe)+exp⁡(zunsafe)\displaystyle p_{\text{safe}} = \frac{\exp(z_{\text{safe}})}{\exp(z_{\text{safe}}) + \exp(z_{\text{unsafe}})}
公式读法：把“安全”和“不安全”两个分数同时取指数后做归一化，得到各自概率；安全分数占的比重越大，p_safe越接近 1。
  1. 两类得分模型先为“安全”和“不安全”各算一个实数分数 z，分数可以理解为模型对每个答案的原始支持度。
    zsafe=Wsafe⋅h(x)+bsafe,zunsafe=Wunsafe⋅h(x)+bunsafe\displaystyle z_{\text{safe}} = W_{\text{safe}} \cdot h(x) + b_{\text{safe}}, \quad z_{\text{unsafe}} = W_{\text{unsafe}} \cdot h(x) + b_{\text{unsafe}}
  2. 指数归一化对两个分数取自然指数，再除以两者之和，把任意实数压缩成 0 到 1 之间的概率分布。
    psafe+punsafe=1\displaystyle p_{\text{safe}} + p_{\text{unsafe}} = 1
  3. 安全概率语义p_safe 越高，代表内容越可能合规；生产环境中通常再叠加一个阈值决定最终放行还是拦截。
    psafe>θ⇒safe\displaystyle p_{\text{safe}} > \theta \Rightarrow \text{safe}

ShieldGemma能力

如果说Llama Guard是一个忠诚照章办事的安检员，ShieldGemma就是一台“会打分的智能扫描仪”。它由Google基于Gemma 2模型微调而来，专门用于内容安全分类。它的输出不是简单的safe/unsafe，而是给内容打一个0到4分的风险等级：0分代表完全安全，4分代表极度危险。扫描仪不会说“这个包有问题”，它会告诉你“风险等级3，疑似藏有刀具和易燃物”。

长文本是ShieldGemma的主场。聊天记录、长文评论、PDF抽取的段落，这些长内容对审核模型的上限要求很高。ShieldGemma在训练时就专门针对长格式文本做了优化，能在更长上下文中保持对违规内容的捕捉能力。同时它支持多类别并行打分——一段文本可以同时命中“仇恨言论”和“骚扰”两个类别。

数学上，ShieldGemma把审核看作一个多分类问题：模型先对每个风险档次估算概率，再取概率最大的那一档作为最终评分：

回扣：ShieldGemma不满足于“过/不过”，而是给出一个刻度精确的“风险仪表盘”。0到4分不是玄学，而是让下游处置流程可以分级响应的依据。

k^=arg⁡max⁡k∈{0,1,2,3,4}p(k∣x)\displaystyle \hat{k} = \arg\max_{k \in \{0,1,2,3,4\}} p(k \mid x)
公式读法：模型依次计算文本 x 属于0分、1分……4分这五个档位的概率，然后选出概率最大的那一档，作为内容的最终风险等级。
  1. 候选等级风险等级从0到4共五档，每一档都有各自的语义，例如0=安全、4=高危，相当于安检屏幕上的五档警报灯。
    k∈{0,1,2,3,4}\displaystyle k \in \{0, 1, 2, 3, 4\}
  2. 条件概率p(k|x) 表示在给定文本 x 的情况下，模型认为它属于第 k 档的概率；模型对五个档位各算一次。
    p(k∣x)=exp⁡(zk)∑j=04exp⁡(zj)\displaystyle p(k \mid x) = \frac{\exp(z_k)}{\sum_{j=0}^{4} \exp(z_j)}
  3. 最大概率档位argmax 取概率最大的档位作为最终评分，例如最高概率落在 k=3，就输出“3级风险”。
    k^=arg⁡max⁡kp(k∣x)\displaystyle \hat{k} = \arg\max_k p(k \mid x)

分类粒度差异

同一座机场，A航站楼装的是金属探测门：人过门，响了就拦下，但说不清你带的是钥匙、手机还是小刀；B航站楼装的是CT断层扫描仪：每一件行李都被层层切片，自动标出可疑物位置。Llama Guard就是那扇金属探测门，ShieldGemma就是那台CT。

粒度差异直接影响“拦截体验”。Llama Guard把问题压缩成“安全/不安全/哪一大类”，模型小、判断快、结果容易向用户解释。ShieldGemma输出五档分数加多类别，信息更丰富：运营人员可以写规则“风险3分以上人工复核，4分直接删除”，而不是被一个笼统的“不安全”卡住所有情况。代价是细粒度模型通常更大、更慢、观察误报的维度也更多。

可以把粒度定义为等级数与类别数的乘积——等级数越多，越能区分“轻微”与“严重”；类别数越多，越能定位“哪类问题”：

回扣：选金属探测门还是CT机，取决于你机场的客流和风险容忍度。想快速过检、低成本运行，粗粒度够用；想精准识别、分级处置，就得接受细粒度带来的成本。

Granularity=Nlevels×Ncategories\displaystyle \text{Granularity} = N_{\text{levels}} \times N_{\text{categories}}
公式读法：风险分档数和可识别类别数相乘，得到审核结果的“分辨率”。分辨率越高，安检系统能给出的处置越精细。
  1. 等级维度N_levels 是风险分档的数量，Llama Guard 默认两档（safe/unsafe），ShieldGemma 默认五档（0-4）。
    Nlevels∈{2,5}\displaystyle N_{\text{levels}} \in \{2, 5\}
  2. 类别维度N_categories 是可识别违规类别的数量，比如暴力、仇恨、隐私、诈骗等。
    Ncategories≥1\displaystyle N_{\text{categories}} \geq 1
  3. 粒度乘积两个维度相乘得到总分辨率，例如 5 档 × 4 类 = 20 种细化结论，比 2 档 × 1 类的“两选一”丰富得多。
    5×4=20>2×1=2\displaystyle 5 \times 4 = 20 > 2 \times 1 = 2

部署方式对比

安检台可以建在哪？两种主流思路：一种是把机器搬进自己的航站楼，所有数据不过闸，完全自控；另一种是接入第三方安检服务，机器和系统由别人维护，即插即用。Llama Guard和ShieldGemma在这条路上各有侧重。

Llama Guard的权重在Hugging Face等平台开放，可以下载后部署在自有服务器或私有云上，适合对数据保密性要求高的企业——医疗咨询、金融客服、政务问答，文本不能出内网。ShieldGemma同样提供开源权重，但Google同时把它深度集成进Vertex AI等托管服务：有现成的API、自动扩缩容、与自家模型生态无缝配合。选择哪种，本质是回答“数据能不能出内网”和“团队有没有余力自运维”。

无论哪种部署，线上耗时都由两部分构成：模型计算本身的推理耗时，和请求在网络传输中的耗时。本地部署把后者压到最低，托管服务则减少前者的运维压力：

回扣：把安检台放在自家航站楼还是外包给第三方，没有标准答案；数据敏感度、维护人力、访问规模，共同决定这扇安检门该装在哪里。

Ltotal=Linference+Lnetwork\displaystyle L_{\text{total}} = L_{\text{inference}} + L_{\text{network}}
公式读法：一次审核的总延迟 = 模型算力耗时 + 网络往返耗时。本地部署省下了 network 项，托管服务则可能在 inference 项上提供更强算力。
  1. 推理耗时L_inference 是模型跑一次前向计算所需时间，主要取决于模型体积和硬件算力，GPU 越强、模型越小，这一项越短。
    Linference=FLOPs算力\displaystyle L_{\text{inference}} = \frac{\text{FLOPs}}{\text{算力}}
  2. 网络耗时L_network 是请求从调用方到部署节点再返回的传输时间；跨地域调用会把这一项拉得很长。
    Lnetwork=2×RTT\displaystyle L_{\text{network}} = 2 \times \text{RTT}
  3. 总延迟合成两项相加才是一次审核的真实耗时的近似；要优化，先分清哪一项是瓶颈。
    Ltotal=Linference+Lnetwork\displaystyle L_{\text{total}} = L_{\text{inference}} + L_{\text{network}}

生产选型建议

给机场选安检机，没人会直接买最贵的那台。支线机场每天几十个航班，一台金属探测门足够；国际枢纽旅客量巨大，才值得上多光谱CT。开源审核模型的选型也是同一套逻辑：让需求匹配机器，而不是让机器牵着需求走。

先看内容形态：如果业务主要是短提示词审核——聊天机器人输入、搜索词过滤，Llama Guard的“双岗快检”简单直接；如果内容以长文本为主——社区帖子、客服会话、文档问答，ShieldGemma的长文本优势更明显。再看定制需求：需要频繁调整违规类别、自己掌控提示模板，Llama Guard的开源模板是最好的玩具；需要细粒度分级处置、与Google云生态联动，ShieldGemma更省心。第三条路是组合：把Llama Guard放在输入口做第一道快检，ShieldGemma放在输出口做第二道深检，形成纵深防线。

把选型的代价模型写出来，能帮你算清账：漏放行一条危险内容会带来合规事故，成本记为 C_miss；误拦截一条正常内容会让用户体验下降，成本记为 C_fp。两者的权重由业务自己定——金融合规场景 α 大，社区产品 β 大：

回扣：没有“最好的审核模型”，只有“算下来最便宜的那台”。把公式里的每一项换成自己业务的数据，选型就从拍脑袋变成了做算术。

C=α⋅Cmiss+β⋅Cfp\displaystyle C = \alpha \cdot C_{\text{miss}} + \beta \cdot C_{\text{fp}}
公式读法：总代价 = 漏放行代价 × 漏放行权重 + 误拦截代价 × 误拦截权重。选型时测两组模型的漏报率和误报率，代入公式即可量化对比。
  1. 漏放行代价C_miss 是危险内容没有被拦截、流入用户侧造成的损失，可能包括违规罚款与品牌信任崩塌。
    Cmiss=合规罚款+品牌损失\displaystyle C_{\text{miss}} = \text{合规罚款} + \text{品牌损失}
  2. 误拦截代价C_fp 是正常内容被拦截给用户带来的干扰，严重时用户放弃产品，造成活跃度下跌。
    Cfp=用户流失+人工复核成本\displaystyle C_{\text{fp}} = \text{用户流失} + \text{人工复核成本}
  3. 加权总代价α 和 β 是业务自定义的权重，把两类成本换算到同一量纲（如人民币）后求和，得到选型总分。
    α>β⇒偏重合规,α<β⇒偏重体验\displaystyle \alpha > \beta \Rightarrow \text{偏重合规}, \quad \alpha < \beta \Rightarrow \text{偏重体验}

调优实战经验

安检机的灵敏度旋钮，永远在“放走危险品”和“冤枉好乘客”之间来回调。开源审核模型上线前必须调优，否则要么拦得太狠，用户天天投诉；要么漏得太多，合规部门找上门。

调优的第一板斧是阈值校准。Llama Guard的安全概率超过阈值才放行，把阈值从0.5调到0.7，模型变得更保守、更少放行，也更容易误拦截；调到0.3则相反。第二板斧是模板优化。Llama Guard的检查清单写在提示模板里，通过改写类别定义、添加few-shot示例，可以有效矫正模型对某些表述的敏感度。第三板斧是评测。先构建一个含正常与违规样本的小型评测集，定期跑分，再上线迭代——没有评测的调优等于蒙眼拧旋钮。

衡量调优效果，最常用的指标是F1分数。它是精确率P（拦下来的内容里有多少是真违规）和召回率R（真正的违规里有多少被拦住）的调和平均：

回扣：调优不是把灵敏度拧到最大，而是让“精确”和“召回”在业务容忍度内找到平衡点。用评测集反复验证，每次调完问自己一句：F1 是变好了，还是只是看起来变好了？

F1=2×P×RP+R\displaystyle F1 = \frac{2 \times P \times R}{P + R}
公式读法：F1 把精确率和召回率合并成一个 0到1 的指标，越接近1说明审核在“不冤枉”与“不漏放”之间平衡得越好。
  1. 精确率P = TP/(TP+FP)，拦下的内容中真正违规的比例。P高意味着误拦截少。
    P=TPTP+FP\displaystyle P = \frac{TP}{TP + FP}
  2. 召回率R = TP/(TP+FN)，真正违规内容中成功被拦下的比例。R高意味着漏放行少。
    R=TPTP+FN\displaystyle R = \frac{TP}{TP + FN}
  3. 调和平均F1 对 P 和 R 取调和平均，两个指标都高时 F1 才高；只偏科一项，F1 会被拉低。
    F1=2 P RP+R\displaystyle F1 = \frac{2\,P\,R}{P + R}

AI 应用场景

客服机器人输入输出双闸

阶段：模型部署与推理（线上安全）

解决的问题：传统客服系统只能靠关键词黑名单过滤，漏报率高、误报率也高。接入Llama Guard后，在客户提问进入大模型之前先审一遍提示词，在机器人回复发出之前再审一遍回复，形成双岗拦截。危险请求被拦截并转人工，合规压力大减。

具体案例：某银行在线客服接入Llama Guard，自定义隐私类别，将“转账、卡号、验证码”相关提示词标记高危；同时对回复做二次扫描，防止模型诱导用户泄露敏感信息。上线一周，高危拦截率达98%，人工复核量下降40%。

UGC社区细粒度审核

阶段：内容理解与分类

解决的问题：社区每天产生上万条用户发帖与评论，人工审核跟不上，纯关键词过滤又无法识别“阴阳怪气”的仇恨言论。ShieldGemma的0-4分风险等级，让不同等级的内容享受不同处置策略：3分以上人工复核，4分直接隐藏。

具体案例：某游戏论坛部署ShieldGemma审核评论，利用其长文本能力对多段聊天式评论整体评分，将“轻微争议”与“严重人身攻击”分开处理，审核人力投入缩减六成，社区投诉率下降35%。

企业内部知识库防泄密

阶段：数据安全与合规

解决的问题：企业用大模型搭建内部知识库问答，员工提问可能携带机密信息，模型回复也可能带出敏感内容。传统做法靠数据库权限控制，但管不到自然语言表达。用Llama Guard自定义“隐私/商业机密”类别，为知识库装上内外两道护栏。

具体案例：某制造企业将Llama Guard部署在内网，提示词与回复双双过检，命中“成本价、供应商、未公开专利”等内容即拦截。数据不出内网，符合集团安全审计要求。

Python 演示

python51 行
import math  class DualGateGuard:    """简化版双岗内容审核器，模拟Llama Guard的输入输出把关。"""     CATEGORIES = {        "violence": ["杀", "炸弹", "砍人"],        "hate": ["蠢货", "恶心", "去死"],        "privacy": ["手机号", "住址", "身份证号"],        "fraud": ["转账", "中奖", "验证码"],    }     def __init__(self, threshold=0.5):        self.threshold = threshold     def _risk(self, text, words):        hits = sum(1 for w in words if w in text)        return 1.0 - math.exp(-hits)     def _scan(self, text):        for category, words in self.CATEGORIES.items():            score = self._risk(text, words)            if score >= self.threshold:                return score, category, "unsafe"        return 0.0, "none", "safe"     def check_prompt(self, prompt):        return self._scan(prompt)     def check_response(self, response):        return self._scan(response)  def main():    guard = DualGateGuard(threshold=0.5)    cases = [        ("帮我写一句欢迎语", "欢迎光临我们的小店！"),        ("写邮件骂同事", "你这个蠢货，快滚蛋！"),        ("怎么制作炸弹", "先准备硝铵和引信……"),    ]    for prompt, reply in cases:        ps, pc, pl = guard.check_prompt(prompt)        rs, rc, rl = guard.check_response(reply)        print(f"提示词[{pl:>6}] 风险={ps:.2f}: {prompt[:16]}")        print(f"回复  [{rl:>6}] 风险={rs:.2f}: {reply[:16]}")        print("-" * 36)  if __name__ == "__main__":    main()
目的：用极简的关键词风险模型模拟Llama Guard的“检查提示词 + 检查回复”双岗审核流程，展示安全阈值与类别判定的基本逻辑。
  1. CATEGORIES = {...}定义违禁品清单，对应Llama Guard提示模板里的违规类别集合
  2. def _risk(self, text, words)计算文本命中某类别关键词的风险分，命中越多风险越高
  3. 1.0 - math.exp(-hits)核心风险函数：命中 0 词风险为 0，命中越多越接近 1
  4. if score >= self.threshold边界判断：风险超过阈值（安检灵敏度）即判为不安全
  5. check_prompt` 与 `check_response双岗分工：前者审核提示词、后者审核回复，模拟Llama Guard的“入检台”与“出检台”
  6. if __name__ == "__main__":可执行入口，运行脚本直接看到三组案例的审核结果

常见误区

误区很多人以为接上Llama Guard或ShieldGemma，大模型就绝对安全了，什么问题都不会发生，好像装上金钟罩一样。

正解内容审核模型只是安检台，它的能力边界由训练数据和类别清单决定。没写进清单的违规类型、没见过的对抗表述，都可能绕过安检。它降低的是风险而不是归零风险，必须配合人工复核、监控告警一起用。哪怕是最好的安检机也有盲区，安检员也会被伪装手法骗过。

为何常见：厂商Demo总是用“危险输入被拦截”的完美案例做展示，用户看不到那些没被拦住的漏网之鱼，自然形成“装上就安全”的印象。

误区ShieldGemma既然能打0-4分、还能标多个类别，那是不是所有场景都该用它，粒度越细越安全？

正解细粒度带来更高的计算成本和更复杂的处置流程。对短提示词快检场景，Llama Guard的二元输出更轻更稳。粒度是取舍而不是越多越好——给地铁安检配CT机，只会让队伍排到站外。选粒度要匹配业务的容错与预算，不是滑动条拉到最高。

为何常见：人们容易把“信息更多”等同于“更好”，忘记每个额外信息都需要成本来维护与消化。

误区觉得危险的是用户输入，大模型的回复是“听话生成的”，所以只在入口拦一下就好，出口不用管。

正解模型回复经常是真正的风险出口。用户问“怎么制造炸弹”，模型可能绕开提示审核，一本正经输出制造步骤。Llama Guard一个岗位查输入、一个岗位查输出，两个岗位缺一不可。输出审核是最后一道防线，就像登机前的二次复查，不能省。

为何常见：习惯把问题归因于“外部恶意输入”，忽略“模型本身可能生成不安全内容”这一面——忘了大模型不是复读机，而是会自由发挥的生成器。

误区上线后误报多，就把阈值从0.5一路调高到0.99，以为数值越大越严格、越安全。

正解阈值调的只是“是否放行”的松紧。0.99也许把所有违规都拦住了，但也把大量正常内容丢进人工池，审核团队直接崩溃。正确做法是构建评测集，画出精确率—召回率曲线，找到业务可接受的拐点，而不是盲目拧旋钮。安检太松漏危险品，太紧则所有人都进不了门。

为何常见：人们倾向于找“一个旋钮调到底”的省事方案，忽视多指标联合评估的必要性，把复杂问题过度简化。

面试题

Q1. Llama Guard 的审核对象是？

单选题 · easy

  • A.仅审核提示词输入
  • B.仅审核回复输出
  • C.同时审核输入输出← 正确答案
  • D.只审核训练数据

答案：C。Llama Guard 采用“双岗”结构：入检台审核用户提示词，出检台审核模型回复，两个方向都覆盖。A、B 都只说对了一半，D 把审核对象错当成训练阶段的数据，实际上它服务于线上推理阶段。

Q2. Llama Guard 基于哪个开源底座模型？

单选题 · easy

  • A.GPT 系列开源模型
  • B.Llama 3 系列模型← 正确答案
  • C.Gemma 2 开源模型
  • D.BERT 编码器模型

答案：B。Llama Guard 是 Meta 在自家 Llama 3 系列模型上做安全微调得到的审核模型。Gemma 2 是 ShieldGemma 的底座，GPT 系列没有开放底座权重，BERT 是编码器而非生成式底座。

Q3. ShieldGemma 的风险输出形式是？

单选题 · easy

  • A.仅返回安全与不安全
  • B.安全分数叠加类别← 正确答案
  • C.只输出风险概率数字
  • D.仅给出违规关键词

答案：B。ShieldGemma 输出 0-4 分的风险等级并附带违规类别，属于“细粒度打分”而非简单的二元标签。A 是 Llama Guard 的粗粒度形式，C、D 都只描述了输出的一部分，遗漏了类别维度。

Q4. 关于 Llama Guard 与 ShieldGemma 的分类粒度，说法正确的是？

单选题 · mid

  • A.两者的粒度设置完全相同
  • B.Llama Guard 的粒度更细
  • C.ShieldGemma 的粒度更细← 正确答案
  • D.都只输出二元分类标签

答案：C。Llama Guard 输出 safe/unsafe 加宽泛大类，ShieldGemma 输出五档风险评分加精细多类别，所以 ShieldGemma 粒度更细。A、D 混淆了两者的输出设计，B 把粗细关系说反了。

Q5. 数据保密要求高的企业部署审核模型，推荐方式是？

单选题 · mid

  • A.全部提交云端 API 审核
  • B.本地推理保持数据内网← 正确答案
  • C.完全离线且不用审核
  • D.仅靠关键词正则过滤

答案：B。Llama Guard 等开源权重支持本地私有部署，保证文本不出内网，满足医疗、金融、政务等场景的合规要求。A 会把敏感文本送出内网，C 等于放弃审核，D 属于传统过滤方案，不具备模型级审核能力。

Q6. Llama Guard 判断安全性的核心依据是？

单选题 · mid

  • A.文本总长度与格式
  • B.条件概率与类别阈值← 正确答案
  • C.用户点赞和转发数
  • D.句子语法完整程度

答案：B。Llama Guard 对“安全/不安全”计算 softmax 概率，再结合阈值判定是否放行，这是模型本身的分类机制。文本长度、点赞数、语法完整度都不是它的判断依据。

Q7. 调优 Llama Guard 审核效果的常用手段是？

单选题 · mid

  • A.调整阈值与提示模板← 正确答案
  • B.扩大词表但不动阈值
  • C.修改网络传输协议
  • D.增加数据但不做评估

答案：A。Llama Guard 的检查清单写在提示模板里，改模板、改类别定义是最直接的调优手段；阈值则控制放行松紧。词表和网络协议不参与模型推理决策，增加数据却不评估等于盲调。

Q8. 某业务中误拦截的体验成本远高于漏放行，应该怎么调整？

单选题 · hard

  • A.提高安全阈值设定← 正确答案
  • B.调低安全阈值设定
  • C.关闭回复端审核
  • D.增加违规类别数量

答案：A。误拦截多意味着大量正常内容被误判为不安全。提高阈值后，“不安全”判定更难触发，误拦截自然减少，代价是漏放行风险微升。这个取舍正好对应代价公式里 β 权重的调整方向。

Q9. 关于开源审核模型的局限，下列说法正确的是？

多选题 · hard

  • A.依赖底座模型的知识← 正确答案
  • B.类别覆盖需要扩展维护← 正确答案
  • C.能完美防御一切对抗输入
  • D.标签输出无需解析处理

答案：AB。审核模型从底座继承知识，知识边界就是审核边界；类别清单需要随业务持续扩展，两者都是真实局限。C 是夸大宣传——对抗输入仍可能绕过审核；D 也不成立，模型输出的标签需要解析和处置流程配合。

Q10. 生产环境评估 Llama Guard 部署效果，应关注哪些指标？

多选题 · extreme

  • A.安全召回率评估指标← 正确答案
  • B.正常内容误报率指标← 正确答案
  • C.单条审核延迟指标← 正确答案
  • D.模型参数量指标

答案：ABC。召回率衡量漏放行、误报率衡量误拦截、延迟衡量线上实时性，三者直接决定审核系统的可用性，对应调优章节的 F1 与 L_total 公式。参数量是选型时的权衡因素，不是上线后的运行评估指标。