边缘用例发现：用例自动生成

可视化演示

展示变异式生成流水线、五种生成策略覆盖率对比及测试用例质量度量体系，直观呈现AI安全测试中的自动化用例生成机制。

基础概念

想象你接管了一支远洋渔船队，手里只有一张空白海图。海图上的每一寸水域，对应着 AI 模型可能看到的一种输入——这就是输入空间。老渔民都听过这样的故事：有的船在近海风平浪静，一出远洋就撞上从没见过的怪鱼，船员连名字都叫不出来。这类“平时见不到、遇到就出事”的输入，就是边缘用例。

边缘用例的定义并不神秘：它们在输入空间中出现的概率极低，分布稀疏，却能把模型推到失败模式上。所谓失败模式，是指模型输出错误、崩溃、被诱导或产生不安全内容的典型方式——就像怪鱼伤人的不同姿势：有的咬断缆绳，有的撞破船底，有的放出毒刺。

按成因，失败模式大致可分成几类：分布外输入（OOD），指输入偏离训练数据分布，如给只见过晴天照片的模型一张暴风雪图；对抗扰动，指人眼难以察觉的微小修改却能彻底改变输出；歧义样本，指输入本身模棱两可；还有罕见组合，指每个特征单独看都正常，组合起来却成了“毒药”。自动生成用例的核心价值，就是把这些被动等待的风险变成主动排查：与其等用户在线上撞见 bug，不如在测试期就织网去打捞。

知道海有多大、怪鱼长什么样，船队才能决定往哪儿开、用什么网。下一节，我们看看聪明的船长们是如何给这张海图做记号的。

生成原理

经验丰富的船长有个铁规矩：每次下网都在海图上画一个记号，已经标记过的水域不许反复撒网，必须优先去空白区。这套规矩翻译成技术语言，就是覆盖率驱动（coverage-driven）：把输入空间划分成若干区域，生成器每产出一个用例，就检查它命中了哪些未覆盖区域，并优先补齐空白。

光有海图还不够，还得防止整支船队挤在同一个海湾。多样性探索用距离度量（如文本的编辑距离、图像的像素差、向量的余弦相似度）强制新用例和已有用例保持差异；对已经出现过的输入，要么直接丢弃，要么施加更强的变异，逼生成器“换个地方下网”。

真正让船队变聪明的，是反馈循环：把模型对已生成用例的反应当作“鱼讯”——出错越严重的区域，说明鱼越大，下次就往那个方向多下几网。生成器、执行器、模型评估三者形成环路，每轮迭代都调整下一批用例的分布。当多轮下来既没有新区域被覆盖、也没有新失败用例出现，说明该收网了——这就是迭代收敛策略。

有了海图的画法，还得有趁手的渔具。四种主流渔网，就是下一节的四种关键算法——它们各有脾气，也各有绝活。

关键算法

船队的工具舱里躺着四件传家宝。第一件是“盲撒网”——随机模糊测试（Fuzzing）。它不管海况，随机生成大量输入一股脑砸向模型，成本极低、覆盖很广，但方向全靠运气，命中率低得可怜。

第二件是“变装饵”——变异测试（Mutation Testing）。抓一条已知的种子输入，通过替换、插入、删除、拼接等操作改变它，就像把上好的鱼饵染成怪颜色、泡上奇怪气味，诱使潜伏的怪鱼咬钩。种子质量直接决定变种的上限，所以选种子本身是门学问。

第三件是“猎食鱼”——对抗生成网络（GAN）。生成器和判别器互相较劲：生成器负责编造越来越像真的样本，判别器负责分辨“这是真数据还是编的”，两方在对抗中共同进化，最终生成器能针对模型弱点定制出最刁钻的输入。第四件是“进化筛选”——进化搜索（Evolutionary Search）：把一批种子当成“鱼饵种群”，按模型反馈打分，淘汰差的、保留好的，再杂交变异，一代代迭代出最能触发失败的样本。

网撒下去，捞上来的不一定是鱼，可能是海草、旧靴子，甚至是成群的塑料垃圾。怎么鉴定战果、怎么给鱼分等级？船要靠港了——下一节是码头的鉴定师。

评测基准

船队回港，码头上早有鉴定师等候。他们手里有三件工具：第一件是“标准鱼谱”——基准测试集，一组公认的、覆盖已知危险模式的输入集合，用来做对照：新模型在鱼谱上表现如何，和旧模型比是进步还是退步。

第二件是“刻度尺”——覆盖率指标。它把生成器的工作量化：跑了多少区域、命中多少种失败模式、新增了多少有价值用例，全是可比较的数字。第三件是“分级标签”——严重程度分级。鉴定师不会把鲨鱼和沙丁鱼同等对待，而是按致命、高危、中危、低危分级：致命级会直接导致安全事故、财产损失或有害内容外发，优先级最高；低危只是轻微质量瑕疵，可以慢慢修。

最考验鉴定师功力的是“误报分析”。有些捞上来的东西看着吓人，其实是漂在水面的烂木头——即被自动判定为“失败”、但人工复核后模型行为完全正常的用例。误报太多会耗尽工程师的耐心，所以需要抽样人工复核、和人工标注组（triage）配合，把噪音滤掉，只留真问题。

鉴定完毕，鱼获入库。但一支正规船队不会只在出海时才有流程——母港的调度、航班表、账本才是持续运转的关键。这就是工程实践。

工程实践

一支成熟的远洋船队，靠的不是船长一个人的英明，而是母港体系：有标准的甲板作业流程、有固定的航班表、有每一笔鱼获的账本。在 AI 评测中，这就是把用例自动生成做成流水线工程。

自动化框架把“数据准备 → 用例生成 → 模型执行 → 结果评定 → 归档”串成一条自动流水线，工程师只需配置好策略和预算，剩下的交给调度器。CI 集成让这条流水线定期巡航：每次模型更新、每次发版前，自动跑一批新生成的边缘用例，像例行体检一样防止回归。

调度策略决定先测什么：按上次评测的风险分布排序，高危区域优先，资源紧张时宁可少测低危区域。结果管理则把每个用例、模型输出、标注结论、复现脚本统一存档，形成可追踪、可回放、可对比的“鱼获台账”——出了问题能定位到是哪一网捞上来的。

船队再大，油耗也有限。在燃料和预算面前，老船长们总结出一套精打细算的心法——优化策略。

优化策略

老船长最恨两件事：捞到重复的鱼，和在没鱼的水域空烧油。优化策略解决的就是这两个问题。去重合并：对生成结果做哈希去重和相似度聚类，把相互重复、差异微小的用例合并，只留下最有代表性的一条——既省执行时间，也避免评测报告被无意义的重复用例灌水。

种子选择：变异测试的变种质量上限由种子决定。好的种子本身就是“接近失败区域”的样本，经过变异能快速引爆更多问题；反之，普通种子变异半天也掀不起浪。做法上可以维护一个“历史上触发过失败”的种子库，优先从库里选种、轮回补充。并行加速：多艘船同时在不同水域下网，即多进程、多 GPU 并行执行生成与评测，把吞吐量成倍拉高；代价是资源争抢，需要给每个任务设独立预算，防止一条流水线饿死其他任务。

预算控制：给每次生成设定燃料上限——时间预算或算力预算。当覆盖率收敛、连续多轮没有新失败用例、或预算耗尽时，果断收网。无休止的探索不仅烧钱，还会让评测结果失去焦点。

理论和工具都齐了。收起海图，看看真实海域里发生过的几起“海难”——它们是自动生成用例最值得投入的战场。

案例剖析

第一起海难：大模型幻觉。模型像一位过于自信的渔夫，明明网里空空，却绘声绘色地向你描述一条根本不存在的鱼。用自动生成的方式构造“事实性矛盾”“常识冲突”“虚构概念”的提问，能批量钓出这类幻觉，帮助团队定位知识边界和质量短板。

第二起海难：图像识别对抗。在照片上叠加人眼几乎察觉不到的噪声，能让模型把“校车”认成“鸵鸟”。这类对抗样本通常用梯度方法生成，最经典的 FGSM 公式如下：沿着损失上升最快的方向加一点扰动，模型输出就被彻底带偏。

第三起海难：NLP 鲁棒性与语音噪声。把“这是个傻公司”改写成拼音、谐音、同义词，安全过滤器可能瞬间失明；给语音识别加上背景音乐、方言口音，识别结果可能完全变味，进而带坏下游意图识别。这些场景都能用变异生成器自动制造——改几个字、加一段噪、换一种口音，边缘用例就源源不断。

复盘这几起“海难”，我们发现共同规律：每一个能用自动生成撞出来的问题，都不该等到用户来撞。织好网、画好图、定好标、跑起来、控好成本——这就是边缘用例发现这门手艺的全貌。

AI 应用场景

Python 演示

import random class SimpleToxicityDetector:    """A minimal toxicity detector: word-list hit means toxic. For demo only."""     def __init__(self, toxic_words):        self.toxic_words = toxic_words        self.gc_count = 0     def predict(self, text):        score = sum(1 for w in self.toxic_words if w in text)        self.gc_count += 1        return "toxic" if score >= 1 else "safe"  class EdgeCaseFuzzer:    """Edge-case generator: word-level mutation on seeds to produce risky inputs."""     def __init__(self, seeds, dictionary, detector):        self.seeds = seeds        self.dictionary = dictionary        self.detector = detector        self.generated_count = 0     def mutate(self, text):        words = text.split()        if not words:            return text        idx = random.randrange(len(words))        action = random.choice(["swap", "insert", "delete", "replace"])        if action == "swap" and idx + 1 < len(words):            words[idx], words[idx + 1] = words[idx + 1], words[idx]        elif action == "insert":            words.insert(idx, random.choice(self.dictionary))        elif action == "delete":            del words[idx]        else:            words[idx] = random.choice(self.dictionary)        return " ".join(words)     def generate(self, rounds=30, mutants=2):        for _ in range(rounds):            sample = random.choice(self.seeds)            for _ in range(mutants):                sample = self.mutate(sample)            self.generated_count += 1            yield sample  def main():    detector = SimpleToxicityDetector(["bad", "stupid", "idiot"])    fuzzer = EdgeCaseFuzzer(        seeds=["you are a good helper", "please help me with my homework",               "this product is amazing and useful"],        dictionary=["bad", "very", "not", "stupid", "great", "slow", "fast"],        detector=detector,    )    hit = 0    total = 0    print("=== Auto-generate edge cases and evaluate ===")    for i, case in enumerate(fuzzer.generate(30, 2), 1):        label = detector.predict(case)        total += 1        is_hit = label == "toxic"        if is_hit:            hit += 1        mark = " <-- HIT" if is_hit else ""        print(f"#{i:02d} [{label}] {case}{mark}")    print(f"\nTotal {total} cases, hit {hit}, hit-rate {hit / total:.1%}")    print(f"Model predict called {detector.gc_count} times")  if __name__ == "__main__":    random.seed(42)    main()

1. class SimpleToxicityDetector:定义一个极简的“被测模型”，词表命中即判为 toxic，用来模拟 AI 模型的输入输出接口。
2. def predict(self, text):模型推理入口：输入一段文本，返回安全或毒性标签，并用 self.gc_count 统计调用次数。
3. class EdgeCaseFuzzer:边缘用例生成器：持有种子库、变体词表和被测模型，是“船队”的大脑。
4. action = random.choice(["swap", "insert", "delete", "replace"])每次变异随机选择一种“改饵手法”：交换、插入、删除或替换词，保证变种多样性。
5. sample = self.mutate(sample)对同一个种子连做多次变异，模拟“层层变装”逼近失效区域。
6. label = detector.predict(case)把生成的用例喂给模型，得到反馈——这就是“模型反馈循环”的最小实现。
7. hit += 1当模型输出 toxic 说明找到了“怪鱼”，累计边缘用例命中数，最后算出命中率。

常见误区

面试题