在线实验平台架构与流量分配

可视化演示

动态演示在线实验平台架构设计的核心机制，通过基础/核心/应用/扩展四种模式展示关键概念与交互流程。

平台架构总览

城市交通指挥中心里，大屏上无数车辆汇成流动的车河。指挥员眼前的每一个道路改造，都像一次“道路手术”：为了让新铺的柏油路被客观评价，他就把车辆分成两股，一股继续走老路、一股走新路，最后对比两股车流的平均耗时。这个动作，就叫一个在线实验。

互联网平台的“新路”可能是首页改版、推荐算法换新、价格策略调整。科学验证需要实验，而实验需要先回答三个问题：让哪些用户进来？进来后分到哪个组？最后怎么算结果？对应到系统里，就是接入、分流、分析三件事。而承载这三件事的系统，就是在线实验平台。

在线实验平台通常由四层组成。接入层负责接收用户请求并把 user_id 传给分流器；分流器按实验配置把用户切进不同实验组；实验层承载具体业务逻辑；数据层通过埋点把行为事件落到数仓，再交给分析引擎计算显著性。这层“从埋点到报表”的数据链路，正是数据可信层的职责——保证流量标签和行为数据可信，分析结果才敢用于决策。

指挥中心要先画好“哪些车走哪条路”的流量地图，实验平台则用配置中心定义这个地图。地图下发后，导流岗亭（分流器）才开始工作——下一节，我们看看它怎么认车。

流量分配原理

立交桥入口处，岗亭里有一面巨大的分格墙，墙上有一万个小格子。每来一辆车，收费员盯着车牌号心算几秒，就把车引向“实验车道”或“常规车道”。奇怪的是：同一辆车，今天来、明天来，都被引去同一个格子。收费员不是抽签，也不是看心情，他靠的是一套固定的心算规则。

这个“心算”在系统里叫哈希函数（hash）。它把 user_id 这样的长标识，映射成一个落在 0~9999 之间的整数。这一万个整数就是一万个桶（bucket）。配置实验时，实验管理员说“给我 20% 流量”，分流器就把 0~1999 号桶划给这个实验，其余 2000~9999 号桶里的用户与本次实验无关。

实际分流时会引入 salt（盐值）。同一个 user_id 在不同实验使用不同 salt，得到的桶号看起来完全不同，这正是不同实验能互不干扰使用同一批用户的前提。流量分配的核心运算可以概括为“桶比较”：先算出用户命中的桶号，再和配置阈值比较，决定他进入实验组还是对照组。

岗亭的“心算规则”是死的、稳定的，管理员改的只是“划多少桶给实验”，所以流量调整就像在分格墙上挪一道栅栏，简单又可解释。不过，要理解为什么不同实验互不打架，还需要看盐值背后的“一致性”秘密。

一致性哈希

高架桥上有一个枢纽站，车辆在此进入不同匝道。枢纽站从不抓阄，它用的规则是：车牌号加上当天的计划编号，通过固定算法算出出口。同一天内，车牌号不变，出口就永远不变。哪怕车辆来回跑十趟，都在同一条匝道进、同一条匝道出。

实验平台里的“固定算法”就是一致性哈希。一致性不是指“均匀映射”这么简单，而是指：当同一个用户反复请求时，只要实验配置没有变化，他每次都会被分到同一个实验组。这一特性对追踪用户长期转化至关重要——如果用户第一次请求在实验组、第二次请求跑到对照组，实验组里积累的点击、购买行为就不完整，指标计算必然失真。

生产的实现会在哈希前把 user_id 与 salt 拼接，salt 是实验或层级的唯一编号。一致性哈希有三个关键性质：确定性（相同输入必然相同输出）、均匀性（输出近似均匀分布）、盐变性（换一个 salt，输出彻底改变）。第三个性质直接支撑了分层正交的可行性——让不同层共享同一个用户时，分配结果互不相关。

枢纽站的规则让同一辆车的路径永远可预测，实验平台的一致性哈希则让同一个用户永远待在同一实验组。有了这个基础，多个实验才能“叠”在同一个用户身上互不干扰——这正是下一节分层正交的出发点。

分层与正交

立交桥把两条方向的车流叠在不同高度：上层跑快速路，下层跑辅道。一辆出租车同时出现在两层并不奇怪，因为“被上层摄像头识别”和“行驶在下层道路”是两件事。聪明的立交设计，让这两件事互不干扰、同时发生。

实验平台把流量按业务方向切分成若干层（Layer）。推荐方向一层、搜索方向一层、定价方向一层。同一个用户可以同时进入推荐层的某个实验和搜索层的某个实验，因为在两层中，他得到的“待遇”由各自独立的随机化决定。两层之间互不挤占流量、互不影响结论，这个性质叫做正交。

正交靠“每层独立随机化”实现：每一层使用独立 salt，用户在该层内的哈希结果均匀分布。由于层与层之间的哈希近似独立，用户进入推荐层实验 A 的概率与进入搜索层实验 B 的概率相乘，就得到同时进入两个实验的概率。更重要的是，每层都能拥有全量流量，实现了流量复用——不同业务不用互相抢 10% 的流量名额，而是各自在整条道路上做自己的实验。

立交桥之所以高效，是因为每一层都拥有全量车流且互不占用。工程上也要严格控制：同一层内不能并行多个未互斥的实验，否则同一用户可能被两个实验同时“改造”，造成干扰。接下来要回答一个问题：既然同一个用户能参与多个实验，那“一个用户”到底该怎么定义？

实验单元划分

统计路口通行时间时，如果一辆车的前轮和后轮被分别计时，同一个人的转弯时间会被拆成两半，数据必然乱成一团。所以指挥中心的规则是“一辆车只记一次”。实验平台也有同样的规则：一个随机单元只能属于一个组。

随机单元（randomization unit）是流量分配的原子单位。最常见的单元是用户（user_id）。以 user_id 为单元，意味着同一个用户无论访问多少次、换几个设备，永远落在同一个实验组里。这在分析转化率、留存率等身份级指标时尤为重要，因为用户的行为必须被完整归属于某一个组，不能被拆开。

有的场景会考虑 device_id 或 session_id 作为单元，例如纯客户端 UI 实验。但单元越细，越容易把同一个真实用户的多次行为分散到两侧，导致实验组被“稀释”——效果被污染。业界经验是优先选用户级单元；若必须使用设备级，就要在分析时做身份归因，并警惕同一用户多设备造成的交叉影响。每个用户都是独立的“车”，不要让他变成两个“车轮”。

“一辆车只记一次”保证了每个单元的行为数据完整。单元的大小决定了实验能观测到的灵敏度——用户太少看不清楚差异，用户太多又浪费流量。那么，多少用户才够？这就到了样本量评估的地盘。

样本量评估

修一座新桥前，工程师要算清楚：要观测到早晚高峰平均车速提升 5%，需要统计多少辆车才不会被随机波动骗到？如果只记录十辆车，一辆车踩个刹车就可能让均值完全变样。观测的车太少，真实的提升会被淹没在噪声里。

这个“观测多少车”对应实验中的样本量。样本量不足，跑完一周也得不到显著结论；样本量过大，则浪费宝贵流量、拖长实验周期。行业用功效分析（power analysis）在实验上线前估算最小样本量，确保实验有足够的灵敏度捕获目标效果。

样本量由四个关键量决定：显著性水平 α（通常 0.05）、统计功效 1-β（通常 0.8）、指标方差 σ²、最小可检测提升 δ（也叫 MDE）。公式右侧每一项都对应一个直觉：要求越严格、噪声越大、想捕捉的效果越小，需要的样本就越多。

就像修桥要预留安全富余，样本量评估为实验准备了“能看清差异的观测长度”。不过，即使样本量算够了，指标本身的波动仍然可能太大。有没有办法不增加流量，就让实验更灵敏？CUPED 提供了一种借历史数据的巧劲。

方差削减与护栏

早高峰测速时，指挥中心发现当天恰好有半程马拉松占道，数据乱跳。聪明的做法是：用过去两周同一时段的平均车速做基准线，把今天的实测值减去“预测偏差”，剩下的波动就小多了。这个思路，正是 CUPED 的核心。

CUPED（Controlled-experiment Using Pre-Experiment Data，使用实验前数据的对照实验）是业界最常用的方差削减技术。它在实验上线前，用用户的历史指标（如历史点击率）作为协变量 X，对实验期的指标 Y 做线性校正，把与 X 相关的噪声剥掉，从而让实验组与对照组的差异更容易被检测出来。

CUPED 的估计量由两部分组成：实验期指标均值减去“历史偏差的加权”。权重 θ 是协变量 X 与结果 Y 的协方差除以 X 的方差，它刻画了历史表现与当前表现的关联强度。关联越强，削减的噪声越多，实验灵敏度越高；如果 X 与 Y 几乎不相关，则 θ 接近 0，CUPED 也就没什么效果。

实验平台还需要“防护罩”机制：指标抖动阈值、实时监控看板、自动熔断回滚。这些类比交通护栏与限速带——实验不是放开跑就完事，而是边跑边守着安全线。方差削减让实验更灵敏，护栏让推全更安全，两者一起支撑可靠的在线决策。

AI 应用场景

Python 演示

import mathimport random  def consistent_hash(user_id, salt, buckets=10000):    # 模拟一致性哈希: 相同输入永远得到相同桶号    h = 7    s = "{}:{}".format(user_id, salt)    for ch in s:        h = (h * 31 + ord(ch)) % 100003    return h % buckets  class Experiment:    # 在线实验平台的单个实验, 负责流量分配与统计    def __init__(self, name, traffic_ratio, treat_ratio,                 control_conv, treat_conv):        self.name = name        self.traffic_ratio = traffic_ratio        self.treat_ratio = treat_ratio        self.control_conv = control_conv        self.treat_conv = treat_conv        self.control_cnt = 0        self.treat_cnt = 0        self.control_ok = 0        self.treat_ok = 0     def assign(self, user_id):        # 先判断用户是否进入本实验流量池        hit = consistent_hash(user_id, self.name + ":traffic")        if hit >= self.traffic_ratio * 10000:            return        # 再在实验内部按 treat_ratio 分到实验组或对照组        g = consistent_hash(user_id, self.name + ":group")        if g < self.treat_ratio * 10000:            self.treat_cnt += 1            if random.random() < self.treat_conv:                self.treat_ok += 1        else:            self.control_cnt += 1            if random.random() < self.control_conv:                self.control_ok += 1     def summary(self):        pa = self.control_ok / self.control_cnt if self.control_cnt else 0        pb = self.treat_ok / self.treat_cnt if self.treat_cnt else 0        se = math.sqrt(pa * (1 - pa) / self.control_cnt +                       pb * (1 - pb) / self.treat_cnt) if self.control_cnt and self.treat_cnt else 0        z = (pb - pa) / se if se else 0        return {            "control_conv": pa,            "treat_conv": pb,            "uplift": (pb - pa) / pa if pa else 0,            "z": z,            "n": self.control_cnt + self.treat_cnt,        }  def main():    random.seed(42)    exp = Experiment(        name="首页改版实验",        traffic_ratio=0.8,        treat_ratio=0.5,        control_conv=0.050,        treat_conv=0.055,    )    for uid in range(1, 20001):        exp.assign(uid)    r = exp.summary()    print("进入实验的用户数: {:,}".format(r["n"]))    print("对照组转化率: {:.4f}".format(r["control_conv"]))    print("实验组转化率: {:.4f}".format(r["treat_conv"]))    print("相对提升: {:.2f}%".format(r["uplift"] * 100))    print("z 统计量: {:.3f}".format(r["z"]))    print("结论:", "差异显著, 可推全" if abs(r["z"]) > 1.96 else "差异不显著, 继续观察")  if __name__ == "__main__":    main()

1. def consistent_hash(user_id, salt, buckets=10000):一致性哈希函数，相同 user_id + salt 永远返回同一个桶号。
2. s = "{}:{}".format(user_id, salt)把用户标识与盐值拼接，保证不同实验使用不同随机序列。
3. if hit >= self.traffic_ratio * 10000:流量占比由阈值决定，超过阈值的用户不进入实验。
4. g = consistent_hash(user_id, self.name + ":group")实验内部再次哈希，完成实验组与对照组的正交划分。
5. if random.random() < self.treat_conv:模拟实验组用户的真实转化行为，转化率由配置决定。
6. z = (pb - pa) / se if se else 0计算 z 统计量，判断两组差异是否显著。

常见误区

面试题