罕见组合测试实战策略

可视化演示

展示AI评测中罕见组合测试的完整流程：特征建模与用例设计、执行管线自动化、异常判定缺陷闭环与回归测试体系。切换模式查看不同环节。

测试设计流程

火锅店老板要研发隐藏菜单，第一件事不是下锅，而是先想清楚：店里可供使用的食材有哪些？有什么忌口不能上桌？哪些食材配在一起容易出“事故”？他会在后厨白板上列一张食材清单，标出禁忌组合，再决定先试哪几道菜。测试设计流程做的正是这件事：先划定输入空间，识别参数间的交互关系，再排出试菜优先级。

在 AI 安全测试中，“食材清单”就是模型的输入空间建模。我们要明确模型接受哪些输入参数——比如文本系统的语言类型、文本长度、编码方式、敏感词位置；每类参数的合法取值域是什么——即边界约束识别。接着要判断哪些参数之间存在交互影响：就像火锅里油料和火候会相互影响，参数的值域之间也可能互相放大风险。最后是交互强度选择：是只看单参数（1-wise），还是看两两交互（2-wise），甚至三参数（3-wise）。

交互强度决定了测试的覆盖目标，也直接决定了用例数量。这里有一个绕不开的数学事实：即使每个参数只有少量取值，参数的组合空间也会迅速膨胀。

设计完成后，老板手里有了一张“食材地图”和试菜优先级——先试高风险高价值的搭配，而不是漫无目的地乱涮。好的测试设计，决定了后续所有工作是在打靶还是在撒网。

组合策略生成

拿着食材清单，老板面临三种搭配思路：一是把所有食材组合都做一遍（全组合），厨房直接瘫痪；二是闭着眼随手抓几把（随机采样），全凭运气；三是聪明人做法——保证任意两种食材都至少在一道菜里同框一次（成对覆盖）。这正是组合策略生成的核心分野。

笛卡尔全组合最完备，但如公式所见，组合数爆炸让它很快失去可行性。随机采样搜索节省资源，却无法回答“测够了没有”——它可能重复踩中同一个值对，却对另一些值对视而不见。成对组合覆盖（pairwise）则基于一个重要的工程经验：绝大多数缺陷是由两个参数的交互触发的，只要覆盖所有“两两值对”，就能以远少于全组合的用例捕获绝大部分风险。

要理解 pairwise 要覆盖什么，先看两两交互面有多少个：

除此之外，生成策略还要考虑约束条件过滤：有些组合在业务上根本不可能出现（比如“晴天”和“台风红色预警”同时成立），应该从候选集中剔除，避免生成无效用例浪费算力。老板在试菜前也会划掉“榴莲+止咳糖浆”这种顾客永远不会点的组合——这正是约束过滤的直觉版本。组合策略能高效生成的关键，就是在爆炸的空间里用覆盖思想圈定最小必要集合。

覆盖度量分析

隐藏菜单试到第几道才算“试够了”？老板不会凭感觉说话，而是在后厨白板上画一张“搭配锁定表”：每道菜试完，就把其中新覆盖的食材组合打上勾。打勾的比例，就是覆盖度量。覆盖率是罕见组合测试中最核心的量化指标。

覆盖率要回答的问题是：在当前覆盖强度目标下，已经覆盖了多少必要值对？它的核心公式非常直观：

覆盖率不只是统计数字，更是定位缺口的探照灯。当覆盖率停在 85% 不再上升，说明剩余未覆盖值对很难被当前生成策略命中，此时需要迭代补充用例——针对缺口定向构造用例，而不是继续盲目扩样本。同时要为项目设定度量基线：比如新模型上线前覆盖率必须 ≥95%，这个基线成为后续回归对照的标尺。老板的“搭配锁定表”越接近满格，他越有底气把隐藏菜单端给顾客；测试的覆盖率越接近目标，团队才越有依据说“罕见组合风险已被系统性排查过”。

执行监控机制

菜单设计好了，接下来是试吃流水线。老板不会一口气把所有菜同时下锅——厨房会乱，油锅会烧穿。他会分批上菜、记录每道菜的试吃结果、盯住火候防止某道菜煮过头拖垮整场。执行监控机制是对照本：把用例编排成批次、给每个用例设定超时熔断、统一采集日志、实时追踪进度。

批量执行调度解决的是“怎么跑”：把成百上千个用例按照依赖关系和资源配额分片执行，避免一次性压垮评测环境。超时异常管理解决的是“跑挂了怎么办”：某些罕见组合可能让模型陷入死循环或超长推理，必须设置超时阈值，超时就熔断该用例并标记为异常，而不是让它挂死整批任务。日志采集记录则确保每个用例的输入、输出、耗时、异常栈都能回溯——没有日志的失败用例等于没跑过。

执行过程中最重要的量化指标是通过率，它反映当前模型在罕见组合下的整体健康度：

执行监控还强调进度追踪汇报：覆盖率、通过率、剩余用例数、失败分布要像仪表盘一样实时可见，让团队在测试中途就能判断是否有系统性异常——比如覆盖率只涨到 40% 就开始集中失败，往往不是单个 bug，而是某个交互面整体失控。老板盯着试吃流水线，看到某批菜品连续翻车，就知道不是运气问题，而是该停下来研究菜谱了。

结果根因分析

某个隐藏菜单翻车了，客人上吐下泻。老板不会只把菜倒掉就完事，他会追溯：翻车的是哪几种食材的搭配？是食材本身不新鲜，还是配比、火候出了问题？是轻微跑味还是严重到要送医？结果根因分析就是对失败用例的三层深挖：异常结果聚类、失配模式归因、严重度分级。

第一步是异常结果聚类：把所有失败用例按“输入特征+失败症状”分组。如果一批失败用例都集中在上百个“文本长度×编码方式”的罕见组合上，它们大概率共享同一个根因。第二步是失配模式归因：判断失败到底来自“输入组合触发了模型的已知脆弱点”（如对抗性模式），还是来自“测试工具自身的搭配误报”。区分这两者，决定了问题该交给模型团队还是测试基建团队。第三步是严重度分级：致命级（输出违法有害内容）、高危级（功能崩溃不可用）、普通级（输出质量劣化）——分级决定修复优先级和上线决策。

如何量化一个组合是否“特别危险”？可以用该组合子集的异常率与整体基线异常率的差值来衡量：

分析的最后要输出修复建议：将异常聚焦到具体参数组合，指出是模型鲁棒性缺陷、评测用例设计缺陷还是数据标注问题。老板把翻车菜品的配方贴在后厨墙上，标注“不能再碰”，分析团队则把高危组合写进缺陷报告，指引下一步修复方向。

回归体系搭建

隐藏菜单试验成功，老板把十几道稳定菜谱写进“后厨标准手册”：固定食材、固定配比、固定火候。此后每次厨房出新菜，都必须先按手册复验一遍老菜——不能因为新菜火了，老菜却坏了口碑。回归体系搭建就是给 AI 系统立这本“标准手册”。

回归体系的第一块基石是基线回归锁定：把历史测试中确定的高覆盖用例集和覆盖率基线固化为回归套件。每当模型迭代、服务更新，团队都要重新执行这套件，用退化率验证“老毛病没复发”。

除了守住旧基线，回归体系还要做增量覆盖回归：把新发现的高危组合动态补充进回归套件，让基线持续生长。历史缺陷守护则是把过往踩过的每一个“榴莲陷阱”都编码成回归用例，永远不允许它们复活。闭环反馈沉淀把测试发现、修复、回归验证串成一个循环：罕见组合测试不是一次性项目，而是随着模型演进而持续滚动的工作流。

手册越厚，老板越安心；回归基线越全，模型迭代的步伐越稳。罕见组合测试的终点，不是某一次测试跑完，而是一套可持续守护模型安全的常态化机制。

AI 应用场景

Python 演示

import itertoolsimport random class PairwiseTester:    def __init__(self, param_values):        self.param_values = [list(p) for p in param_values]        self.all_cases = list(itertools.product(*self.param_values))        self.pair_list = self._build_pairs()        self.selected = []        self._greedy_cover()     def _build_pairs(self):        pairs = []        k = len(self.param_values)        for i in range(k):            for j in range(i + 1, k):                for x in self.param_values[i]:                    for y in self.param_values[j]:                        pairs.append((i, x, j, y))        return pairs     def _covers(self, case, pair):        i, x, j, y = pair        return case[i] == x and case[j] == y     def _pair_index(self, case, pair):        i, x, j, y = pair        if case[i] == x and case[j] == y:            return True        return False     def _greedy_cover(self):        uncovered = set(range(len(self.pair_list)))        while uncovered:            best_idx = -1            best_gain = -1            for idx, case in enumerate(self.all_cases):                if idx in self.selected:                    continue                gain = sum(1 for pi in uncovered if self._covers(case, self.pair_list[pi]))                if gain > best_gain:                    best_gain = gain                    best_idx = idx            self.selected.append(best_idx)            for pi in list(uncovered):                if self._covers(self.all_cases[best_idx], self.pair_list[pi]):                    uncovered.remove(pi)     def coverage_ratio(self, case_indices):        if not self.pair_list:            return 1.0        covered = set()        for idx in case_indices:            case = self.all_cases[idx]            for pi, pair in enumerate(self.pair_list):                if self._covers(case, pair):                    covered.add(pi)        return len(covered) / len(self.pair_list)  def main():    params = [["晴", "雨", "雪"], ["早", "午", "晚"], ["高", "中", "低"], ["少", "中", "多"]]    tester = PairwiseTester(params)    total = len(tester.all_cases)    selected_n = len(tester.selected)    pairwise_cov = tester.coverage_ratio(tester.selected)    print("参数空间:", params)    print("全组合总数:", total)    print("pairwise 生成用例数:", selected_n)    print("pairwise 覆盖率: {:.1f}%".format(pairwise_cov * 100))    random_idx = [tester.all_cases.index(c) for c in random.sample(tester.all_cases, selected_n)]    random_cov = tester.coverage_ratio(random_idx)    print("同数量随机采样覆盖率: {:.1f}%".format(random_cov * 100))    print("\npairwise 用例列表:")    for idx in tester.selected:        print("  ", tester.all_cases[idx])  if __name__ == "__main__":    main()

1. self.pair_list = self._build_pairs()预先枚举全部两两值对（此例 54 个），作为覆盖目标清单。
2. def _greedy_cover(self)核心贪心循环：每次从候选全组合里挑出“能覆盖最多未覆盖值对”的一条。
3. if idx in self.selected跳过已经被选中的用例，避免重复添加同样的完整组合。
4. gain = sum(1 for pi in uncovered if self._covers(...))统计该候选用例新增覆盖了多少个未覆盖值对。
5. for pi in list(uncovered)把当前用例覆盖到的值对从待覆盖集合中移除，直到全部覆盖为止。
6. coverage_ratio()对任意一组用例索引计算去重后的覆盖率，是评估指标的关键工具。
7. random.sample(tester.all_cases, selected_n)抽取相同数量的随机用例，作为与 pairwise 对比的基线。

常见误区

面试题