实验对比：用数据驱动模型选型决策

可视化演示

动态演示实验对比的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

对比维度设计

盲测厨房的第一件事，不是急着开火，而是先挂出评分卡：口感、火候、咸淡、摆盘、上菜速度，每项占多少权重。更关键的是，要选一道“参照菜”——通常是上一季度的招牌菜，也就是基线模型。如果只让新菜享受米其林大厨、让招牌菜用实习生掌勺，那比出来的不是菜，而是人。模型实验也一样，对比维度必须先设计清楚：用什么指标、和谁比、在什么环境上跑、训练集和验证集怎么切。

从比喻回到技术，设计对比维度就是给实验立规矩。指标可以是准确率、AUC、F1、推理延迟等；基线通常是当前线上已用的模型；环境包括 GPU 型号、依赖库版本；数据划分要保证所有模型使用完全相同的训练集、验证集、测试集。只有这样，后续跑出来的差异才是模型本身的差异，而不是环境或数据带来的误差。

为了让多个指标能综合比较，可以把每个模型的各项指标做极差归一化，再按业务重要性加权求和。公式如下：

设计对比维度就像准备一场公平的厨艺大赛：评分卡、评委、食材、灶台都统一，结果才值得被写进报告。反过来，如果维度设计得随意，后面跑再多实验，也只是把错误放大。

实验追踪记录

盲测厨房里的每一道菜都必须有“后厨台账”：谁在哪个时间用了哪份食谱、哪种食材批次、哪种火候，全部记下来。否则两个月后发现一道菜出了问题，你想复查却根本说不出当时怎么做的。实验追踪记录就是模型版的“后厨台账”，它让每一次训练都能被找到、被复现。

在 MLOps 中，实验追踪系统会记录三样核心信息：代码版本、数据版本、超参数。代码版本对应菜谱本身；数据版本对应食材批次；超参数对应火候、油温等可变因素。有了这些信息，任何人拿到同一个“指纹”，都能复现出几乎相同的结果。

我们用哈希指纹来表示“可复现性”：

没有实验追踪，对比实验就是一笔糊涂账：这次“好吃”到底是因为换了菜谱还是换了食材，谁也说不清。有了台账，团队才能放心地同时尝试几十种方案，并且能在任何时刻回滚或复盘。

自动化对比

解决了“怎么比”和“怎么记”，接下来要回答“谁来比”。如果每次都要人工打开一堆日志，肉眼比较零点几个百分点的差异，那盲测厨房会累死主厨。自动化对比就像一个自动化的“评审流水线”：菜做好后，由同一套评分系统批量打分，自动汇总成排行榜，并对超出阈值的差异发出提示。

自动化对比的核心是批量评估和排行榜。先把所有候选模型放到同一批测试集上跑完，再把每个模型的多次实验结果汇总成平均分与波动范围，最终按规则排出一份榜单。若新模型相对基线的提升超过预设的阈值，系统就标记为“值得关注”。

“相对提升”的计算可以用下面这个判断式来表示：

自动化不是取代人类判断，而是把“重复劳动”交给系统，把“判断异常”留给工程师。排行榜上的数字只负责客观呈现，真正拍板的人仍然是你。

统计显著性

排行榜上 A 模型比 B 模型高了 0.2%，这 0.2% 到底是真本事，还是评委今天心情好带来的巧合？要回答这个问题，我们要请出统计显著性检验这位“统计裁判”。它不会因为单次盲测高分就欢呼，而是会问：如果两个模型本来没有差别，出现当前这种分数差异的概率有多大？

在模型对比中，我们通常假设“两个模型没有差异”，这就是零假设。然后计算一个 t 统计量，再用它推出 p 值。p 值越小，说明在“没有差异”的假设下看到当前结果的概率越低，也就越有理由认为差异是真实的。常用公式如下：

注意，p 值不是“新模型赢的概率”，更不是“新模型比旧模型好几个百分点”的数值。它只负责回答“这次差异是不是随机噪声在捣乱”。真正的业务判断，还要结合后续的置信区间和成本。

结果可视化

光有 p 值还不够，人类的双眼需要图形辅助。就像盲测报告里除了分数，还会附上折线图展示每轮评分的起伏、箱线图展示所有评委打分的分布、雷达图展示口感、火候、摆盘等维度的整体形状。可视化不是用来“让报告更好看”，而是用来快速暴露问题：是某一道菜分数波动大，还是多项指标全面领先。

在实验对比中，折线图适合看训练过程中的趋势，箱线图适合看多次实验的分布，雷达图适合比较多指标。为了让图表更严谨，我们通常还会在柱状图上画误差棒，误差棒就是置信区间的图形化表达：

图表是盲测厨房里的“展示台”，但它不能代替数据本身。如果只看雷达图很饱满、折线图很漂亮就拍板，等于让装修精美的菜单替你决定菜好不好吃。正确的习惯是：先看数字和统计结果，再用图表辅助沟通。

模型选型决策

最后一关是拍板。盲测厨房选出招牌菜，不能只看口味分，还要看食材成本、出餐速度、后厨是否稳定。模型选型也一样，最终得分要考虑综合表现、鲁棒性和推理成本。一个模型准确率只高 0.1%，但推理成本贵三倍，未必值得替换。

我们把综合得分和成本放在同一个天平上，用性价比得分做最终排序：

除了性价比，还要做鲁棒性检查：换几组随机种子、换几批数据切分，模型是否还能保持优势？如果新模型只在某个特定切分下赢，换个数据分布就崩盘，那它就像一道“只能在全套标准食材下才好吃”的菜，不适合日常菜单。最终，把两张表放进决策报告：一张是统计结果，一张是业务影响。数据驱动选型的最后一环，从来不是算法，而是负责任的判断。

AI 应用场景

Python 演示

"""实验对比: 数据驱动的模型选型示例"""import mathimport randomfrom statistics import NormalDist, fmean, stdev  def simulate_runs(true_score, noise, n_runs, seed=42):    """模拟 n_runs 次独立实验的评估分数"""    rng = random.Random(seed)    return [true_score + rng.gauss(0, noise) for _ in range(n_runs)]  def welch_t(x, y):    """返回 Welch t 统计量与近似 p 值"""    nx, ny = len(x), len(y)    sx2 = stdev(x) ** 2    sy2 = stdev(y) ** 2    se = math.sqrt(sx2 / nx + sy2 / ny)    t = (fmean(x) - fmean(y)) / se    p = 2.0 * (1.0 - NormalDist().cdf(abs(t)))    return t, p  def decide_model(results, alpha=0.05):    """根据 p 值决定是否推荐新模型"""    t, p = welch_t(results["new"], results["baseline"])    winner = "new" if p < alpha and t > 0 else "baseline"    return {        "t": round(t, 3),        "p": round(p, 5),        "recommend": winner    }  def main():    random.seed(2024)    runs = 20    baseline = simulate_runs(0.80, 0.03, runs, seed=7)    new_model = simulate_runs(0.84, 0.03, runs, seed=11)    summary = {        "baseline_mean": round(fmean(baseline), 4),        "new_mean": round(fmean(new_model), 4),        "baseline_std": round(stdev(baseline), 4),        "new_std": round(stdev(new_model), 4),    }    decision = decide_model({"baseline": baseline, "new": new_model})    print("实验摘要:", summary)    print("检验结果:", decision)    if decision["recommend"] == "new":        print("结论: 差异显著, 推荐上线新模型。")    else:        print("结论: 差异不显著或新模型更差, 维持基线。")  if __name__ == "__main__":    main()

1. simulate_runs(true_score, noise, n_runs, seed=42)模拟每个模型在相同实验条件下重复跑 n_runs 次，返回一组带随机噪声的分数。
2. se = math.sqrt(sx2 / nx + sy2 / ny)计算两个样本均值差的标准误，对应“排除随机波动后才能比差异”的核心思想。
3. t = (fmean(x) - fmean(y)) / se计算 t 统计量，相当于“信号”除以“噪声”。
4. p = 2.0 * (1.0 - NormalDist().cdf(abs(t)))计算双尾 p 值，用来判断差异是不是巧合。
5. winner = "new" if p < alpha and t > 0 else "baseline"只有 p 值足够小且新模型均值更高时才推荐新模型。

常见误区

面试题