罕见输入组合测试方法

可视化演示

展示AI模型罕见组合测试的完整流程：长尾分布识别、联合概率分析、组合生成策略与覆盖评估，揭示低频输入组合的缺陷发现能力。

组合测试基础

阿尝翻开“云顶融合菜”的菜单，发现点餐规则是：前菜三选一、主菜三选一、酱汁三选一、甜品三选一。若把四类各点一种，理论上能配出 81 套完整套餐。要是把上百道菜品、十几种做法全因素组合，那数量足以让任何后厨崩溃。这正是测试领域常说的组合爆炸：输入维度一多，全组合数呈指数级膨胀，根本测不完。

在 AI 测试里，这个“菜单”就是输入空间——模型所有可能接收的合法输入组成的集合。每一类选项就是一个组合维度（参数），每个选项叫一个取值（value）。一条测试用例就是给每个维度选一个值组合起来。全组合测试虽然最彻底，但成本爆炸；而软件工程数十年的经验表明，绝大多数缺陷其实由两个参数交互触发。于是诞生了全对组合（pairwise）策略：只需保证任意两个维度的取值组合都被覆盖到，就能用很少的用例抓住大部分问题。

$$\displaystyle \binom{n}{k} = \frac{n!}{k!\,(n-k)!}$$

1. 组合数符号：$\binom{n}{k}$ 表示从 $n$ 个元素中取 $k$ 个为一组的所有组合的总数。

$$\displaystyle \binom{n}{k}$$

2. 分子阶乘：$n!$ 是 $n$ 的阶乘，等于 $n \times (n-1) \times \cdots \times 1$，代表全部排列方式的数目。

$$n! = n \times (n-1) \times \cdots \times 1$$

3. 分母校正：$k!\,(n-k)!$ 用来消掉组内排序和组外剩余元素的排序，从而只保留“组合”而非“排列”。

$$k!\,(n-k)!$$

阿尝的策略很聪明：他不会把 81 套全点一遍，而是挑出十几道“有代表性的搭配”摸清后厨底细。组合测试基础的核心同样是取舍——用结构化的少量用例，换取对整个输入空间的高可信覆盖。

罕见组合识别

阿尝翻看餐厅三个月的点单记录，发现点“烟熏三文鱼+慢烤牛排+黑椒汁+熔岩蛋糕”这类招牌组合的客人占了八成，而“冰淇淋+辣椒油”这样的搭配几乎从没出现过，静静躺在点单分布的长长尾巴里。长尾分布就是这么回事：高频场景集中在头部，海量低概率组合都挤在尾部。某个组合单独出现的概率可能只有百万分之一，但把百万用户放一起，它就一定会发生。

识别罕见组合，不能只盯着“概率低”，还要看“风险大”。一个没人组合可能恰恰是安全边界上的定时炸弹。于是测试工程师引入罕见度评分：先统计各组合在历史数据中的出现频率并归一化，再用业务风险（安全、资损、体验）给组合加权重，最后按综合评分排序，把 Top-K 个组合列为重点测试对象。专家筛选则用于修正数据偏差——历史数据稀疏时，靠领域经验补充那些统计看不见的盲区。

$$\displaystyle R_i = (1 - \hat{p}_i) \times w_i$$

1. 归一化频率：$\hat{p}_i$ 表示组合 $i$ 在历史输入中的出现频率被压缩到 0 到 1 之间，越接近 1 说明越常见。

$$\hat{p}_i \in [0, 1]$$

2. 罕见度分量：$1 - \hat{p}_i$ 把频率翻转成“罕见程度”，出现频率越低，此项得分越接近 1。

$$1 - \hat{p}_i$$

3. 风险权重：$w_i$ 是根据安全、资损、体验等维度为组合 $i$ 赋予的风险系数。

$$w_i \geq 0$$

4. 综合评分：$R_i$ 越高，说明该组合“又罕见又危险”，越应该排进测试序列的前列。

$$R_i = (1 - \hat{p}_i) \times w_i$$

阿尝有个小本子，专门记录“客人从没点过、但一旦点错就会出大事”的组合。AI 评测同样需要这样一份“刁钻清单”——把所有长尾组合按风险排好队，再逐个攻破。

生成策略方法

光有“刁钻清单”还不够，阿尝得系统地设计点菜序列：先点哪些组合才能最快摸清后厨？最经典的是成对生成（AllPairs）：每次挑选一个测试用例，让它覆盖尽可能多的“还没被覆盖的二维组合”，贪心地用最少用例铺满最大覆盖面。这种方法在维度多、取值多的场景下特别高效。

空间特别大时，随机采样能提供廉价的探索——就像阿尝偶尔闭着眼睛在菜单上戳几下，说不定撞上惊喜。进化算法则更进一步：把一组合适的测试用例当作“个体”，以覆盖率为适应度，通过交叉、变异不断迭代，在超大组合空间中自动搜寻能触发缺陷的“深水区”。别忘了约束处理：有些组合在业务上根本不合法（比如“离线状态下要求实时流媒体”），生成时必须过滤掉，否则会把测试资源浪费在无效用例上。

$$\displaystyle \mathrm{CA}(N;\,t,\,k,\,v)$$

1. 记号含义：$\mathrm{CA}$ 表示覆盖阵列，是组合测试的标准数学模型。

$$\mathrm{CA}$$

2. 测试用例数：$N$ 代表生成的测试用例总数，是覆盖阵列的“行数”。

$$N = |S|$$

3. 组合强度：$t$ 表示要求任意 $t$ 个维度的取值组合至少出现一次，$t=2$ 就是成对组合。

$$t = 2 \Rightarrow \text{pairwise}$$

4. 维度与取值：$k$ 是输入参数的维度数，$v$ 表示每个维度取值的个数。

$$k,\ v \in \mathbb{Z}^+$$

这套“点菜兵法”的关键在于：不靠蛮力点满全菜单，而是用成对覆盖打底、随机探索补漏、进化算法攻坚、约束条件护航，最终用一桌不算豪华的菜，把后厨的深浅探个明明白白。

覆盖评估度量

阿尝每品一道菜，就在品鉴台账上画一个勾，慢慢形成一张覆盖图：哪些搭配尝过、哪些还是空白。AI 测试里的覆盖矩阵也是这样一张台账——行是测试用例，列是各个维度组合，单元格标记该组合是否被执行过。有了矩阵，就能算出覆盖率：已覆盖的组合数除以总组合数。

覆盖率不是终点，而是导航仪。矩阵中的空白处往往暗藏玄机：缺口分析专门盯住这些未覆盖区域，判断它们是因为风险太低不值得测、还是因为生成策略漏掉了重要地带。覆盖准则则定义了“覆盖到什么程度算合格”——对安全攸关系统，准则可能是“必须覆盖全部三维组合”；对一般业务，成对覆盖往往就够。准则的选择直接决定测试成本与风险之间的平衡点。

$$\displaystyle \mathrm{cov}_t = \frac{\left|C_{\text{covered}}\right|}{\left|C_{\text{total}}\right|}$$

1. 已覆盖集合：$C_{\text{covered}}$ 是当前测试用例真正执行到的 t 元组合的集合。

$$C_{\text{covered}} = \{(v_1, \dots, v_t) \mid \text{已被覆盖}\}$$

2. 总量集合：$C_{\text{total}}$ 是所有满足约束条件的 t 元组合的总数。

$$C_{\text{total}} = \{(v_1, \dots, v_t) \mid \text{合法组合}\}$$

3. 集合大小：$\left| \cdot \right|$ 表示集合中元素的个数，也就是“有多少种组合”。

$$\left|C\right| = \text{组合数量}$$

4. 覆盖率：$\mathrm{cov}_t$ 取值在 0 到 1 之间，越接近 1 代表组合覆盖越充分，是评测报告中的核心指标。

阿尝盯着台账上的空白格，心里清楚：这些空白正是下一轮“找茬”的目标。覆盖率图表上的缺口，就是测试团队下一阶段的主攻方向——覆盖评估永远不会结束，直到风险被逐个清空。

评测实施流程

阿尝每周五固定“发榜”：拿出品鉴台账，对照评分标准给每道菜评级，最后写出一份让主厨心服口服的评测报告。一次完整的测试流程通常分五步：定义输入空间与约束、生成组合用例、执行评测、汇总缺陷清单、复盘改进。每一步都有明确的输入与产出，环环相扣。

流程中最容易忽视的是基线设置：同一套组合用例，必须先在一版已知模型上跑一遍，得到基准分数，再在待测模型上跑，两者对比才能判断是“变好”还是“倒退”。缺陷分析则按严重程度给问题分级——致命的崩溃、错误的输出、轻微的体验降级，分别对应不同的修复优先级。最后，一份报告规范要把组合空间、覆盖率、缺陷清单、修复建议全部结构化呈现，让工程师和管理者都能快速抓住重点。

$$\displaystyle D = \frac{N_{\text{defects}}}{N_{\text{tests}}} \times 1000$$

1. 缺陷数量：$N_{\text{defects}}$ 是在本轮组合测试中触发并确认的缺陷总数。

$$N_{\text{defects}} = \text{有效缺陷数}$$

2. 用例数量：$N_{\text{tests}}$ 是执行的组合测试用例总数。

$$N_{\text{tests}} = \text{用例总数}$$

3. 标准化放大：$\times 1000$ 把比值放大到“千用例缺陷数”，便于在不同规模的测试间横向比较。

$$D \propto 1000$$

发榜不是为了“批斗”，而是为了让后厨有方向地改进。评测实施流程的意义正在于此：把一次性的“找茬”变成可重复、可对比、可追溯的质量管理闭环。

鲁棒性提升

主厨看完阿尝的评测报告，没有把“冰淇淋+辣椒油”从菜单上划掉，反而闭关研发了一道限量隐藏甜品——把踩雷组合变成可驾驭的输出。这样应对缺陷的思路，在 AI 测试里叫缺陷修复：把触发缺陷的组合用例直接加入训练集或回归集，让模型亲眼见过“这道怪菜”。数据增强在组合周围做微小的扰动，生成一批相似样本投入训练，相当于把一道怪菜蒸炸煮烤做出多个变体，让模型全面适应。

更进一步，边界加固针对高频出问题的区域增加防护策略——输入校验、兜底输出、拒绝服务——就算模型没学好，也不会把用户带进沟里。修复之后必须做回归验证：重新跑同一张覆盖矩阵，确认旧缺陷消失、新缺陷没冒出来。阿尝的“刁钻清单”在这里变成最宝贵的资产，每一次发榜都在悄悄抬高后厨的水平线。

$$\displaystyle \Delta R = \frac{R_{\text{after}} - R_{\text{before}}}{R_{\text{before}}} \times 100\%$$

1. 修复前鲁棒性：$R_{\text{before}}$ 是在缺陷修复前，模型通过同一套组合测试得到的鲁棒性指标，作为基线。

$$R_{\text{before}} = \text{基线得分}$$

2. 修复后鲁棒性：$R_{\text{after}}$ 是修复后重新评测得到的分数。

$$R_{\text{after}} = \text{修复后得分}$$

3. 相对变化率：$R_{\text{after}} - R_{\text{before}}$ 的差值除以基线 $R_{\text{before}}$，得到相对于基线的提升比例。

$$\frac{R_{\text{after}} - R_{\text{before}}}{R_{\text{before}}}$$

4. 百分比展示：$\times 100\%$ 把结果转换为更直观的百分数。

菜单越训越厚，后厨的底气也就越来越足。鲁棒性提升的本质，就是把每次“刁钻点菜”暴露出的问题，转化成模型成长的真实养料。

工具与工程

阿尝后来不再单打独斗，他的工作室开发了一套“品鉴流水线”：菜单组合自动生成、暗访自动执行、报告自动输出——老饕的经验被沉淀成可复用的工具。AI 测试领域最著名的工具之一就是 PICT，微软开源的成对组合生成器，输入参数的维度和取值，几秒就能输出一组覆盖全部二维组合的测试用例。

工具要真正发挥作用，必须嵌入工程体系。CI集成把组合测试挂进发布流水线：每次代码提交或模型更新，自动跑一遍罕见组合回归，让缺陷在合入前就暴露。数据管理负责维护历史组合库、缺陷库和覆盖记录，避免重复劳动，把长尾资产越积越厚。效率优化则通过分布式执行、缓存命中、并行采样，把动辄数小时的组合测试压缩到分钟级——毕竟，只有跑得够快，评测才能真正成为日常习惯。

$$\displaystyle E = \frac{\mathrm{cov}_2}{N_{\text{tests}}}$$

1. 成对覆盖率：$\mathrm{cov}_2$ 表示成对组合覆盖率，是组合测试最常用的覆盖维度。

$$\mathrm{cov}_2 \in [0, 1]$$

2. 用例数量：$N_{\text{tests}}$ 为实际执行的测试用例总数，是成本侧的核心指标。

$$N_{\text{tests}} > 0$$

3. 效率指标：$E$ 代表单位用例换来的覆盖率，$E$ 越高说明测试设计越精炼、工具调度越高效。

$$E = \frac{\mathrm{cov}_2}{N_{\text{tests}}}$$

工具化的真正意义，是把“阿尝式找茬”这种个人绝活，变成组织级的常规能力。当组合测试的齿轮嵌进 CI 流水线，每个版本迭代都自动接受罕见组合的考验，“罕见”便再也不是安全漏洞的庇护所。

AI 应用场景

Python 演示

"""rare_combination_test.py - 罕见输入组合测试的成对生成与覆盖评估 用贪心策略从全组合中挑选最少用例覆盖所有成对组合，并输出与全组合的规模对比以及成对覆盖率。"""from itertools import product  def build_pairwise(domains):    """贪心生成成对组合覆盖的测试用例列表"""    keys = list(domains.keys())    all_combos = list(product(*[domains[k] for k in keys]))    selected = []    covered = set()     for combo in all_combos:        pairs = set()        for i in range(len(keys)):            for j in range(i + 1, len(keys)):                pairs.add((i, combo[i], j, combo[j]))        fresh = pairs - covered        if fresh:            selected.append(combo)            covered.update(pairs)    return selected  def pair_coverage(combos, domains):    """计算成对组合覆盖率"""    keys = list(domains.keys())    total = 0    covered = set()    for i in range(len(keys)):        for j in range(i + 1, len(keys)):            total += len(domains[keys[i]]) * len(domains[keys[j]]    for combo in combos:        for i in range(len(keys)):            for j in range(i + 1, len(keys)):                covered.add((i, combo[i], j, combo[j]))    return len(covered) / total  def main():    domains = {        "角色": ["游客", "会员", "管理员"],        "设备": ["手机", "平板", "电脑"],        "网络": ["弱网", "正常", "离线"],        "输入": ["短文本", "长文本", "特殊字符"],    }    combos = build_pairwise(domains)    full = 3 * 3 * 3 * 3    rate = pair_coverage(combos, domains)    print(f"全组合需要: {full} 个用例")    print(f"成对组合生成: {len(combos)} 个用例")    print(f"成对覆盖率: {rate:.2%}")  if __name__ == "__main__":    main()

1. all_combos = list(product(*[domains[k] for k in keys]))用笛卡尔积生成全组合，这是组合爆炸的“完整敌情”。
2. pairs = set()把一条用例拆解成若干二维子组合，成对覆盖的基本单元。
3. fresh = pairs - covered计算这条用例能带来多少“新覆盖”，完全重复的用例在这里被淘汰。
4. selected.append(combo)贪心策略的核心：只有贡献新覆盖的组合才被选入测试集。
5. covered.update(pairs)选中后立即更新全局已覆盖集合，确保下一步决策基于最新状态。
6. total += len(domains[keys[i]]) * len(domains[keys[j]])累加所有维度对的取值组合数，得到覆盖率公式的分母。
7. rate = pair_coverage(combos, domains)用已覆盖组合数除以总组合数，量化本次测试的覆盖面。

常见误区

面试题