如何用A/B测试科学评估Prompt效果

可视化演示

展示流量50/50分流到对照Prompt A与实验Prompt B，对比多维度评分差异，得出统计显著性结论。

评估标准定义：先定义“更好”再打分

阿茶要给两款新配方做测试，第一步做的是把店里的老顾客请来，问他们：“你们觉得一杯好奶茶应该怎么评？”有人说要茶香浓，有人说要甜度适中，有人说口感要顺滑。于是阿茶做了一张品鉴表：茶香、甜度、口感、回甘，每项1到5分。有了这张表，任何一杯奶茶的好坏就不再是“我觉得好喝”这种主观感受，而是四个可数字化的分数。

Prompt评估也是同理。如果你连“更好的回答长什么样”都没定义，实验就无法进行。评估维度通常包括：正确性（信息是否准确）、完整性（是否覆盖问题所有方面）、可读性（表达是否清晰自然）、风格一致性（是否符合目标语气）。每个维度可以用1-5或1-10量表打分，就像奶茶品鉴表一样。

有了评分表，下一步就是把所有打分汇总成一个可比的值。最常用的就是平均值，它把所有维度的信号压缩成一个数：

阿茶把两张品鉴表都算出了平均分，发现A款茶香平均4.2分、甜度3.8分，B款茶香3.9分、甜度4.5分——谁更好？光看这四列数字还是犯难，于是她决定设计一次真正的对比实验。

实验设计：打造对照组与实验组

阿茶没有让所有顾客直接喝新配方，而是把30位常客随机分成两组：一组喝现有招牌款（对照组），一组喝新配方A（实验组）。关键是她让两组顾客在不知道喝的是哪款的情况下打分，避免“新品尝鲜”心理造成的偏差。

对应到Prompt实验：对照组是当前线上在用的Prompt，实验组是你要验证的新Prompt。设计时要遵守两个铁律：一是控制变量——除了Prompt本身，模型版本、温度参数、测试问题集都必须一致，否则差异说不清是谁造成的；二是随机化——把测试问题或用户请求随机分配到两组，避免某组恰好遇到简单问题。

另一个常被忽略的问题是样本量。如果你只让3个问题跑实验，哪怕实验组平均分高1分，也可能是运气好。样本量估算公式：

阿茶按公式一算，至少需要每组15杯样本，她才放心地推进实验——因为样本太少得出的结论，和抛硬币猜大小没什么区别。

数据收集：反馈与人工评分

实验开始了。阿茶在收银台旁放了一个小牌子：“喝完扫码给新品打分”。同时，她还请了三位资深奶茶爱好者组成“评审团”，用同一张品鉴表逐杯盲测。前者是用户反馈，后者是人工评分，两条腿走路。

Prompt实验的数据收集也可以分两类。一类是用户行为反馈：用户在真实产品中的采纳率、点赞/点踩、是否复制AI回答、是否转人工客服，这些是天然的“用脚投票”。另一类是人工评分：让标注员按预先定义好的评分维度逐条打分，适用于没有足够真实流量的冷启动场景。无论哪种方式，都要把原始请求、Prompt版本、模型回复、评分结果完整记录到日志里，方便复盘。

当数据以“好评/差评”形式存在时，可以用好评率衡量：

阿茶把顾客扫码评分和评审团打分都记录在案，一周后她拿到两张数据表——是时候坐下来用统计方法算一算，两组的差异到底是真本事还是运气了。

统计分析：用t检验判断差异

阿茶翻开两张表：A款平均分4.0，B款平均分4.3。看起来B款赢了0.3分，但她心里打鼓：万一是样本里恰好几个重口味顾客拉高了B款呢？这时需要统计学登场。

在Prompt实验中，我们用独立样本t检验（更常用Welch版本）判断两组均值差异是否显著。它计算的是：两组均值差相对于数据本身的波动来说，到底够不够大。公式：

阿茶代入数据一算，t值2.31，对应的p值约0.03——也就是说，如果两款配方其实一样好，光靠随机波动拉开这么大差距的概率只有3%。这个概率足够低，她可以相信B款确实更好。

结果解读：p值、效应量与业务判断

p < 0.05说明“差异在统计上显著”，但这不等同于“B款完美碾压”。阿茶的朋友提醒她：B款平均分只高0.3，为了这0.3分，燕麦奶成本要贵两块钱，还会让部分客人觉得味道寡淡。统计显著只是“发现差异存在”，业务上是否值得，还要看效应量。

效应量衡量差异的“个头大小”，常用Cohen's d：

阿茶算出的d约0.55，属于中等效应。结合成本测算：B款每月多花3000元原料，但能让好评率提升5%，她决定先小范围上架一个月，观察复购率再做最终决策。统计显著性是“参赛资格”，业务价值才是“最终奖项”。

迭代优化：把赢家变成新基线

B款正式上架后，阿茶没有把A款的品鉴表扔掉。她把B款设为新的“对照组”，新的季节限定款C款作为实验组，继续做下一轮测试。同时，她每月复测一次B款，防止供应商换原料导致口味悄悄变化。

Prompt工程也是这样：赢家Prompt上线后要设为新基线，后续所有新Prompt都跟它对比。还要做回归验证——每隔一段时间用同一套测试集重新跑一遍，防止模型升级、数据分布漂移导致效果滑坡。量化提升幅度可以用相对提升公式：

阿茶把“每月一测”固定成了店规。新配方来了，先做小实验，赢了上架当新基线，输了也不亏——至少知道了哪个方向不对。Prompt的实验也是如此，永远没有一劳永逸的最优解，只有一轮又一轮的“对照—实验—验证”循环。

AI 应用场景

Python 演示

import mathimport random  def simulate_scores(kind, size):    random.seed(42 if kind == "a" else 7)    if kind == "a":        return [random.randint(4, 7) for _ in range(size)]    return [random.randint(5, 9) for _ in range(size)]  def mean(vals):    return sum(vals) / len(vals)  def variance(vals, m):    return sum((x - m) ** 2 for x in vals) / (len(vals) - 1)  def welch_t(a, b, ma, mb, va, vb):    return abs(ma - mb) / math.sqrt(va / len(a) + vb / len(b))  def approximate_p(t):    if t > 3.0:        return 0.003    if t > 2.5:        return 0.012    if t > 2.0:        return 0.045    if t > 1.7:        return 0.09    if t > 1.3:        return 0.2    return 0.4  class PromptABTest:    def __init__(self, size=30):        self.size = size        self.scores_a = simulate_scores("a", size)        self.scores_b = simulate_scores("b", size)        self.gc_count = 0     def run(self):        ma = mean(self.scores_a)        mb = mean(self.scores_b)        va = variance(self.scores_a, ma)        vb = variance(self.scores_b, mb)        t = welch_t(self.scores_a, self.scores_b, ma, mb, va, vb)        p = approximate_p(t)        print("对照组平均分: {:.2f}".format(ma))        print("实验组平均分: {:.2f}".format(mb))        print("t统计量: {:.3f}, 近似p值: {:.3f}".format(t, p))        if p < 0.05:            print("结论: 差异显著, 实验组Prompt更优")        else:            print("结论: 差异不显著, 暂不更换Prompt")  if __name__ == "__main__":    PromptABTest(size=30).run()

1. def simulate_scores(kind, size)分别模拟对照组（旧Prompt）和实验组（新Prompt）的评分，对照组集中在4-7分，实验组集中在5-9分。
2. def welch_t(a, b, ma, mb, va, vb)实现Welch t检验，用两组均值差除以标准误，算出t值。
3. def approximate_p(t)用分段近似函数把t值映射为p值，演示统计判断逻辑。
4. class PromptABTest把“生成数据—计算统计量—下结论”封装成完整实验流程。
5. if p < 0.05:按常用的0.05显著性阈值决定是否采用新Prompt。

常见误区

面试题