多臂老虎机MAB：智能流量分配新范式

可视化演示

动态演示多臂老虎机MAB的核心机制，通过概览/流程/对比/趋势四种模式展示关键概念与交互流程。

初识多臂老虎机：一顿外卖的抉择

假如你被派去开发一款外卖 App 的新用户推荐页，每天有 10 万次曝光机会，候选是三家不同风味的店铺。你不知道哪家最受欢迎，但每把一次展示浪费给差店，就损失一份用户好感——这和“多臂老虎机”场景一模一样。赌场里有一排老虎机，每台中奖概率未知，你手里只有有限金币，如何分配投币次数让赢钱最多？其中“手臂”（arm）就是选项，“中奖”就是收益（reward），而 MAB 的数学框架，正是研究“在信息不全时如何边试边选”的学问。

这个问题的关键不是“哪台机器最好”——那是上帝视角。真实世界只能靠一次次试验逼近真相，而每次试验都有成本：试了差机器，这枚金币就白花了。于是一对天生的矛盾出现了：探索能收集新信息，但牺牲眼前收益；利用能守住已知优势，但可能错过潜在的更好选项。学术界用“累计遗憾”量化这个代价：上帝告诉你最佳选项后，你原本能赚到的最大收益，与你实际赚到的之间的落差，就是遗憾。

MAB 的经典应用遍布互联网：推荐系统给新内容分配曝光量、广告平台决定展示哪版创意、电商平台调整商品首页位置。它们共享同一套逻辑——把流量当金币，把点击、转化率当收益，在线实时决定每个选项拿多少流量。遗憾的数学定义如下：

回到点外卖的场景，如果目标是一年里吃到的满意餐最多，那么“中午纠结一下”本质上就是在算遗憾：永远选对的那家是天花板，但现实里你需要用几次踩雷去换取发现神店的可能。后面三种算法，就是三套不同的“纠结策略”。

epsilon-greedy策略：偶尔尝鲜的稳妥派

小林是个保守的干饭人，他的原则是“九成把握加一成惊喜”：90% 的时间继续点自己最满意的那家店，剩下 10% 的时间，闭眼随机点一家没吃过的。这就是 epsilon-greedy 的处世哲学——用一个固定的概率 epsilon 做探索，其余时间全部用来利用当前看起来最好的选项。

算法每天维护两本“账本”：每家店被点过多少次 \(n_i\)，以及累计获得的奖励（满意记 1，不满意记 0）。于是“最满意的那家”对应一个经验均值 \(\hat{\mu}_i = \text{累计奖励}_i / n_i\)。决策时生成一个随机数，小于 \(\epsilon\) 就探索（均匀随机选一家），否则利用（选均值最高的店）。写成数学形式：

收到奖励后，算法只需更新对应的 \(n_i\) 和累计奖励，下轮再算均值即可，实现非常简洁。参数 \(\epsilon\) 是性格旋钮：设成 0 变成纯利用，永远守着眼前最优，可能错过神店；设成 1 变成纯探索，天天随机踩雷。实际生产常取 0.1~0.2，或采用“衰减 epsilon-greedy”——初期多探索，后期多利用。

epsilon-greedy 就像一位“偶尔抽风的稳妥型干饭人”，简单管用，风险可控。但它的探索是乱枪打鸟——那 10% 的时间里，连已经验证过难吃的店也会被再次光顾，白白浪费金币。下一节的 UCB，就是一位“有脑子的探索者”。

UCB置信上界：给未知加上“信用额度”

这位“有脑子的探索者”其实是个信用额度评估师。他还没吃过街角那家新开的火锅店，但会想：万一它是满分神店呢？于是先给每家店设一个“信得过的最高可能评分”——没吃过的店，额度拉到无限乐观；吃过的店，随着评价数据增多，额度慢慢回落到真实水平。每次出手，他选“信用额度最高”的那家。

这就是 UCB（Upper Confidence Bound，置信上界）的核心直觉：每个选项的价值不能只看平均收益，还要加上一个代表不确定性的“乐观加成”。没试过几次的店，我们不确定它到底多好，于是把这个加成抬得很高，吸引算法去试；试得多了，加成逐渐缩小，最终由真实平均收益主导决策。公式如下：

理解这个公式的关键在于“加成衰减的速度”：分母的 \(\sqrt{n_i}\) 随采样次数快速增大，每多试一次，我们对这家店的评价就越有底气；而分子的 \(\ln t\) 意味着“总时间越长，越值得再给未充分探索的店一次机会”。被冷落的店因为 \(n_i\) 很小而加成很大，迟早会被翻牌子，这就是 UCB 永不饿死任何臂的自我修养。

UCB 就像一位聪明的食客：新店因为“未知光环”被优先宠幸几次，但尝过发现一般后，信用额度迅速缩水，评分回归真实。相比 epsilon-greedy 的盲试，UCB 把探索资源精准投向“最值得怀疑”的选项，效率自然更高。

Thompson采样：贝叶斯高手的心里账本

还有一位“心里有本账”的贝叶斯信徒。他吃每顿饭前，心里都揣着一张“好吃程度分布图”：A 店吃了 20 次，15 次满意，分布图尖尖地堆在 0.75 附近；新店只吃过 2 次，1 次满意，分布图又矮又扁，从 0.1 到 0.9 都可能。他每次选择前，从每家店的分布里随机抽一个“可能是真实的成功率”，然后选抽出来的值最大的那家。

这就是 Thompson 采样，也叫贝叶斯采样。它假设每个选项的成功率服从 Beta 分布 \(\text{Beta}(\alpha, \beta)\)，其中 \(\alpha\) 可以理解为“成功的次数 + 先验中的成功量”，\(\beta\) 是“失败的次数 + 先验中的失败量”。没有数据时，用中性的先验 \(\text{Beta}(1,1)\)（均匀分布）；每得到一次成功就 \(\alpha+1\)，失败就 \(\beta+1\)。随着数据积累，后验分布逐渐尖峰化，逼近真实成功率：

每次决策时为每家店独立抽一个 \(\theta_i\)，然后选择 \(\theta\) 最大的店。抽样动作天然兼顾探索与利用：均值高的店，抽出来的值大部分时候都大，被选概率就高；但方差大的新店，偶尔会抽出一个极端大的值，从而获得被尝试的机会。相比 epsilon-greedy 的随机探索、UCB 的确定性上限，Thompson 用随机抽样把不确定性揉进决策，既不需要显式设置探索率，也不容易陷入局部最优。

这位贝叶斯信徒的可爱之处在于“越吃越有谱”：新店因为谱子宽，总有机会被翻牌；一旦数据积累，谱子变窄，好店稳定胜出，差店自然失宠。他不需要刻意规定“哪天探索”，因为每一次抽样本身，就是对未知做出概率上的尊重。

策略对比选型：三位选手的擂台赛

三种干饭策略放在一起，就像公司的三个员工：epsilon-greedy 是执行力强的老实人，按固定比例轮换着试，稳定但笨拙；UCB 是精明的分析师，把每家的数据量算进评分，理性冷静；Thompson 是直觉派高手，心里装着分布，用运气模拟真相。

从收敛速度看，在真实推荐场景中，UCB 和 Thompson 通常比 epsilon-greedy 更快逼近最优选项，因为它们会把探索火力集中到“最有机会翻盘”的臂上，而不是均匀撒网。从实现复杂度看，epsilon-greedy 只需几行代码；UCB 需要维护累计次数、计算对数平方根；Thompson 需要引入 Beta 分布采样（现代框架里往往一行代码即可）。三者都不涉及复杂模型训练，都算轻量级选手。

选型有一个经验法则：系统极度冷启动、选项多且奖励噪声大时，Thompson 采样因为天然建模不确定性往往最稳；团队刚起步想快速验证，epsilon-greedy 几乎零门槛；追求严谨理论边界且环境不支持贝叶斯采样，UCB 是严谨之选。业界常采用“两段式启动”：先用 epsilon-greedy 收集几天数据，再切换 UCB 或 Thompson 精调。三种策略其实都可以统一到一个评分框架下：

说到底，三种策略都在回答同一个问题：“未知选项值不值得冒一次险？”老实人用固定概率回答，分析师用数学上限回答，贝叶斯高手用随机抽样回答。没有绝对王者，只有适合你餐厅客流——也就是业务场景的答案。

工程落地实战：从算法到智能流量分配

把“点外卖的智慧”搬进公司，就是一套智能流量分配系统：首页 banner 有新旧两个方案，让 MAB 决定流量比例，而不是人工拍脑袋 5:5 对半分。系统像一个灵活的饭店领班——新菜单先给一桌客人试试，好评多了就加量，差评多了就撤下。

落地的第一步是定义“臂”和“收益”：臂是候选方案（新老页面、不同商品排序、多版广告文案），收益是要优化的业务指标（点击率、转化率、GMV）。第二步是流量切分——MAB 给出动态比例，而非固定分桶。早期让探索组流量大些，比如把 epsilon 从 0.3 慢慢衰减到 0.05。一个常用的衰减配方是：

工程上还有几个坑要避开：指标要选“可实时回流”的，算法才能快速更新；必须按唯一用户 ID 分配流量，防止同一用户反复被探索骚扰；收益要归一化，避免高价值用户权重失衡。上线前可以用历史日志做离线回放，模拟两种策略的收益差，再决定长期发布。系统运行后，还要定期监控每个臂的曝光量，防止某个臂因为探索不足被“饿死”。

这套系统就像一个越用越懂事的领班：新菜单先小范围试（探索），老菜单根据翻台率自动加量（利用），等哪道菜稳定火爆，领班就把它升为招牌——流量自动向最优方案倾斜。这就是“智能流量分配新范式”的真正含义。

AI 应用场景

Python 演示

import randomimport math  class EpsilonGreedy:    def __init__(self, n_arms, epsilon=0.1):        self.n_arms = n_arms        self.epsilon = epsilon        self.counts = [0] * n_arms        self.rewards = [0] * n_arms     def select(self):        # 以固定概率 epsilon 随机探索        if random.random() < self.epsilon:            return random.randrange(self.n_arms)        # 否则选平均收益最高的臂        best = 0        for i in range(1, self.n_arms):            avg_i = self.rewards[i] / self.counts[i]            avg_best = self.rewards[best] / self.counts[best]            if avg_i > avg_best:                best = i        return best     def update(self, arm, reward):        self.counts[arm] += 1        self.rewards[arm] += reward  class UCB1:    def __init__(self, n_arms):        self.n_arms = n_arms        self.counts = [0] * n_arms        self.rewards = [0] * n_arms     def select(self):        # 每个臂至少尝试一次        for i in range(self.n_arms):            if self.counts[i] == 0:                return i        total = sum(self.counts)        ucb = [0.0] * self.n_arms        for i in range(self.n_arms):            avg = self.rewards[i] / self.counts[i]            bonus = math.sqrt(2 * math.log(total) / self.counts[i])            ucb[i] = avg + bonus        best = 0        for i in range(1, self.n_arms):            if ucb[i] > ucb[best]:                best = i        return best     def update(self, arm, reward):        self.counts[arm] += 1        self.rewards[arm] += reward  def simulate(algorithm, n_arms, true_probs, n_steps):    algo = algorithm(n_arms)    total_reward = 0    for _ in range(n_steps):        arm = algo.select()        reward = 1 if random.random() < true_probs[arm] else 0        algo.update(arm, reward)        total_reward += reward    return total_reward  if __name__ == "__main__":    true_probs = [0.3, 0.55, 0.8]    steps = 2000    random.seed(42)    reward_eps = simulate(EpsilonGreedy, 3, true_probs, steps)    reward_ucb = simulate(UCB1, 3, true_probs, steps)    print("epsilon-greedy 累计奖励:", reward_eps)    print("UCB1 累计奖励:", reward_ucb)

1. if random.random() < self.epsilon:抛硬币决定是否探索，概率由 epsilon 控制。
2. avg_i = self.rewards[i] / self.counts[i]用累计奖励除以选择次数，估算每家店的平均收益。
3. if avg_i > avg_best:找出当前看起来最好的店，作为利用对象。
4. bonus = math.sqrt(2 * math.log(total) / self.counts[i])计算 UCB 的不确定性加成，试得越少加成越大。
5. ucb[i] = avg + bonus平均收益加乐观加成，构成最终评分。
6. reward = 1 if random.random() < true_probs[arm] else 0按真实成功率生成一次奖励，模拟用户点击。
7. algo.update(arm, reward)把本次结果写回统计账本，供后续决策使用。

常见误区

面试题