Garak：NVIDIA 开源的 LLM 漏洞扫描器

为什么需要 Garak：模型攻击面无法用人工测试覆盖

LLM 应用的攻击面与传统软件不同——没有“安全补丁”，系统提示词、输入过滤器、RAG（检索增强生成）上下文都是可攻击入口。人工红队测试依赖经验逐条构造提示词，用例不系统、结果不可复现；模型每更新一次，手工经验就要重来一遍。安全团队缺少能把攻击案例沉淀为自动化回归测试的工具，这正是 Garak 要解决的问题。

Garak 提供“探测集”机制：每个探测（probe）是一类攻击的自动化生成器，内置提示注入、越狱、数据泄露、幻觉、恶意代码生成等常见威胁面；探测器（detector）自动判定攻击是否得手；扫描结果以 JSONL（按行存储的 JSON 格式）全量记录，并生成 HTML 报告。同样的探测集在每次模型发布时重跑，就形成了安全回归门禁。

与同类工具相比，Garak 是“扫描器”思维：CLI 即用、开箱可跑，默认配置就能产出可读报告；PyRIT 更像可编程红队 SDK，ART 与 TextAttack 偏学术研究。对“上线前要一份可审计安全测试结果”的工程团队，Garak 的应用路径最短。

安装与环境配置：3 步就绪

步骤一：安装。 需要 Python 3.10 及以上版本。直接用 pip 安装主包；如需扫描 Hugging Face 本地模型，再安装对应可选依赖（extra），全部依赖可用 garak[all] 一次装齐。

步骤二：配置凭证与环境。 扫描 API 模型前，把对应厂商的 API Key 写入环境变量（OpenAI 用 OPENAI_API_KEY，Anthropic 用 ANTHROPIC_API_KEY）。Garak 的默认配置文件位于 ~/.config/garak/garak.yaml，可预设默认模型类型、探测集与并发参数；不放置该文件时使用内置默认值。

步骤三：验证安装。 用 --version 查看版本，用 --list_probes 与 --list_detectors 确认探测与判定插件可正常加载；能列出插件即说明安装成功。

pip install garakpip install "garak[all]"        # 可选：安装 Hugging Face 等本地模型支持export OPENAI_API_KEY=sk-xxxx   # 替换为真实 Keygarak --versiongarak --list_probes | head -20garak --list_detectors

快速上手：5 分钟跑通第一次扫描

快速上手的目标是跑通“指定模型→执行探测→查看报告”的最小闭环。先在官方支持的 API 模型上做默认扫描，确认结果落盘与报告生成正常，再扩展到组合探测与本地模型；这样能最快区分“工具没配好”与“模型真有漏洞”两类问题。

1. 安装并验证（见上一节）。

2. 确认 OPENAI_API_KEY 已写入环境变量。

3. 执行扫描命令，指定模型类型 openai 与模型名 gpt-4o-mini。

4. 观察终端输出：Garak 会先加载插件，再逐个执行探测器，实时打印每个探测的命中数与总数，最后打印结果保存路径。

5. 查看结果：扫描输出默认保存在当前目录的 garak_runs/ 下，按日期与扫描 ID 组织；扫描结束自动生成 HTML 报告，打开即可看到按探测器分类的成功率与命中样本。

6. 进阶操作：组合多个探测并叠加缓冲区，评估输入过滤器是否可被编码绕过。

结果解读：报告按探测器给出成功率，成功率越高说明该攻击面越容易被利用。注意同一模型在不同采样参数（如温度）下结果会有波动，正式评估应固定参数并重跑多轮取稳定值。

# 第一次扫描：默认执行 dan 越狱探测集garak --model_type openai --model_name gpt-4o-mini --probes dan # 查看结果目录结构ls -R garak_runs/ | head -40 # 进阶：组合探测 + base64 编码变换garak --model_type openai --model_name gpt-4o-mini --probes promptinject,jailbreak --buffers base64 # 本地模型（Ollama 服务）garak --model_type ollama --model_name llama3.1

核心能力详解：4 大支柱

支柱一：Probes——攻击探测集。 Probe 是 Garak 的一等插件类型，负责自动生成攻击载荷。内置探测覆盖 promptinject（提示注入）、jailbreak 与 dan（越狱）、leakreplay（上下文数据泄露）、hallucination（幻觉触发）、malwaregen（恶意代码生成）等，多数场景对应 OWASP LLM Top 10 中的风险类别。探测集可用逗号组合（--probes promptinject,jailbreak），也支持通配符（如 "jailbreak*"）批量选择。选哪些探测应由威胁建模决定，而不是全量盲跑。

支柱二：Detectors——成败判定器。 探测发出攻击后，需要判定攻击是否成功。Detector 支持精确文本/正则匹配、外部服务（如毒性检测 API）以及基于 LLM 的判定等模式。Garak 会先对模型跑一条基线（正常生成样本），再跑攻击样本，自动剔除模型本来就有的行为，聚焦“由攻击引发的差异”，结果以成功率呈现。判定器选择直接影响结论可信度：exact 类判定可复现性高，LLM 判定覆盖更广但需抽检复核。

支柱三：Generators——模型接入层。 同一套探测代码要能测不同模型，靠的是 Generator 抽象。OpenAI、Anthropic、Cohere 等 API 模型，Hugging Face 开源模型、Ollama 本地服务、Replicate 托管模型，都通过 --model_type 指定接入，无需修改探测代码。这意味着同一攻击套件可以横向跑在不同模型上，直接对比候选模型的抗攻击能力。

支柱四：Buffers——载荷变换层。 很多模型网关带输入过滤，明文攻击载荷会被直接拦截。Buffer 对载荷做编码或变形（如 base64、rot13）后再发给模型，用于检验过滤器是否可被绕过。是否加 Buffer 显著影响结论：不加可能漏报（假阴性），全加可能放大无效攻击（假阳性），建议按“防御验证”目的单独跑一轮。

生产部署与监控：从上线到运维

部署方式一：CI/CD 安全门禁。 在发布流水线（GitHub Actions、GitLab CI 等）中安装 Garak，对候选模型执行固定的探测组合，把探测器成功率作为质量阈值，超过即阻断发布。扫描产物（garak_runs/ 下 JSONL 与 HTML 报告）作为发布审计附件归档。

部署方式二：定时回归扫描。 用 cron 每周跑一次固定探测集，跟踪模型迭代后的行为漂移——例如 RAG 应用底层模型升级后，leakreplay（数据泄露）成功率是否上升。

可观测性与审计。 每次扫描的 JSONL 保留模型输入输出与判定结果的原始记录，可重放、可复核；garak --report 可从已保存的 JSONL 重新生成 HTML 报告，适合留档审计。Garak 本身不提供指标导出，如需接入监控大盘，可解析 JSONL 提取各探测器成功率写入 Prometheus 或 SIEM（实践建议，非内置功能）。多环境建议采用不同探测集：dev 环境跑全量，production 跑低成本高价值子集。

<p class="para-label">避坑清单：</p>

<ul class="dash-list"><li>默认只跑 dan 探测：不指定 --probes 时 Garak 仅执行 dan 越狱探测，不代表完整安全评估，应根据威胁面显式组合 promptinject、jailbreak、leakreplay、hallucination 等探测集。</li><li>不加 Buffer 会低估防御绕过风险：base64、rot13 等编码变换可绕过输入过滤，只测明文载荷容易漏报（假阴性），评估过滤器时必须叠加 buffers。</li><li>API 扫描成本不可控：对付费 API 模型跑大规模探测集会消耗大量 token，建议先查看探测规模、分批执行并限制并发，避免单次扫描成本失控。</li><li>detector 输出不等于漏洞实锤：exact 匹配可能漏报、基于 LLM 的判定存在误判，对高失败率样本必须人工重放复核后再定性。</li></ul>

pip install garakgarak --model_type openai --model_name gpt-4o-mini \  --probes promptinject,jailbreak,dan --buffers base64

0 3 * * 1  cd /srv/garak && export OPENAI_API_KEY=sk-xxxx && garak --model_type openai --model_name gpt-4o-mini --probes leakreplay,hallucination

版本迭代

garak 于 2024 年上半年以 0.9、0.10、0.11 系列快速迭代并配套学术论文，2024 年 8 月 NVIDIA 宣布收购前后发布 1.0 里程碑，此后以约每月一个次版本的速度持续扩充探测类型、模型接入方式与报告能力（截至训练数据，可能已有更新版本）。

AI 应用场景

常见误区

面试题