推荐中的探索与利用：别让老内容吃干饭

可视化演示

动态演示推荐中的探索与利用的核心机制，通过总览/传输/转换/输出四种模式展示关键概念与交互流程。

问题定义

老王面馆每晚只有二十桌客人，每桌最多推一道「今日推荐」。卤肉面天天卖爆，但老王心里清楚：卤肉面总有一天会让人吃腻，而菜单上新加的藤椒面，可能一文不值，也可能是下一个招牌。把推荐位永远给卤肉面，是稳赚不赔的短期选择；分出一部分推荐位给藤椒面，是在为明天下注。这就是「探索与利用」的两难。

推荐系统每天面对同样的局面：热门老内容就像卤肉面，点击率高、风险低；新发布的内容就像藤椒面，没有数据、前途未知。如果把推荐位全给老内容，短期指标好看，长期却会让内容生态僵化。科学家把这个困境抽象成一个经典模型——多臂老虎机。

多臂老虎机比喻一台有多个拉杆的老虎机，每个拉杆对应一个未知的中奖概率。你每拉一次杆，要么赢要么输，目标是有限次数内累计收益最大。推荐场景里，物品是拉杆，用户点击或下单就是中奖。于是问题变成：已知每个物品「试吃好评率」的估计值，如何分配推荐次数让总收益最大。

老王每天打烊后看流水，流水就是他这一天二十次推荐决策的总收益。这个公式提醒他：别只盯某一桌赚了多少，要看一整晚、一整年赚了多少。长期收益，才是 EE 问题真正的裁判。

Epsilon贪心

老王的第一招很朴素：每天晚上，九成顾客照旧推荐好评榜单第一的菜，剩下一成顾客不做任何判断，随机从菜单里挑一道，哪怕是最没人气的新品。他管这叫「每十桌留一桌随便点」。

这就是 epsilon-greedy（ε-贪心）的核心思想：以概率 ε 随机探索，以概率 1−ε 选择当前估计最优。ε 就是那个「乱点」的比例，通常取 0.1 到 0.2。它最大的优点是简单：只需要维护每个物品的平均好评率，不需要置信区间或贝叶斯计算。

缺点是探索是「盲目」的——随机选菜时完全不管哪道菜更有潜力，把精力平均撒在所有菜上。如果某道菜明显难吃，它依然会时不时被随机翻牌，白白浪费宝贵的桌位。

老王很快发现，一成随机虽然偶尔带来惊喜，但很多次随机都点到确定没人爱的菜，浪费了珍贵桌位。他决定换一个更聪明的试菜办法——把精力花在「最值得怀疑」的菜上。

UCB算法

老王改进策略：不再盲目随机。他在小本本上记下每道菜被尝试的次数。卤肉面试了 100 次，好评率 80%；藤椒面只试了 2 次，好评率 50%。凭均值，藤椒面远不如卤肉面。可老王想：藤椒面才试 2 次，这个 50% 太不可靠了——它也许其实有 90% 的潜力呢？

UCB（Upper Confidence Bound，上置信界）算法把这个直觉量化成公式：每道菜的得分 = 平均好评率 + 一个「补偿项」。补偿项随尝试次数变少而增大。也就是说，越是被冷落的菜，越会得到额外加分，直到它被充分尝试、真相大白。

补偿项里，T 是到目前为止的总推荐次数，N 是该菜被尝试的次数。当 N 很小时，补偿项很大，即使均值不高也能冲上推荐位；随着 N 增大，补偿项变小，得分逐渐回归真实均值。于是系统自动把探索流量导向「信息量最大」的菜。

老王的小本本法则很奏效：卤肉面依然常驻推荐位，但藤椒面每隔几桌就能上一次，逐渐攒够数据。UCB 的优雅之处在于，探索不再是撒胡椒面，而是精准地优先试探「最值得怀疑」的菜。

汤普森采样

再后来，老王学到更高级的一招：他不再只记一个平均分，而是在脑子里为每道菜画一条「口味猜测曲线」。卤肉面的曲线又高又窄——集中在 80% 附近；藤椒面的曲线又矮又宽——从 30% 到 90% 都有可能。

这就是贝叶斯思想：用 Beta 分布描述对每道菜好评率的信念。每得到一次好评，曲线往右挪一点；每得到一次差评，曲线往左挪一点。曲线越窄，代表越有把握。

每次做推荐前，老王从每条曲线里「抽签」：卤肉面大概率抽到 0.8 左右，藤椒面有时抽到 0.9、有时抽到 0.3。谁抽到的值最大，谁就上推荐位。宽曲线意味着它经常能抽到很高的值，于是新菜得到不少机会；一旦数据变多、曲线变窄，它就必须凭真实实力说话。

老王发现，这种「脑内模拟顾客口味」的方法，在长期收益上比固定比例的盲目探索更稳，也比 UCB 更抗噪声。它不再需要一个显式的探索率，因为不确定性已经天然融入采样过程。

Bandit框架

一个季度结束，老王想复盘：如果每次都推「隐藏的最佳菜」，理想流水是多少？拿理想流水减去实际流水，就是「后悔度」。后悔度越低，说明他这一季度的决策越接近神仙视角。

Bandit 框架将所有 EE 策略统一进这一套评价体系：策略的目标不是单次点击率，而是把累计后悔度最小化。epsilon-greedy、UCB、汤普森采样都是框架内的具体策略，谁后悔得少，谁就是更好的老板。

后悔度的计算很直观：每个时刻都有唯一的最佳菜 μ\，理想收益是 T 乘以 μ\；而实际第 t 次推荐如果推了菜 a_t，它的真实好评率是 μ_{a_t}，两者之差累加起来就是累计后悔。注意这里用的是「真实好评率」，而不是算法估计值——后悔度衡量的是策略本身离全知有多远。

老王看着后悔度曲线若有所思：盲目随机会让后悔度线性飙升，而好的策略能让它只按对数速度增长。评判一个 EE 策略好不好，不看单次运气，而看它长期离「全知老板」有多远。

冷启动结合

藤椒面刚上架那天是最棘手的：一道菜没有任何试吃记录，UCB 的补偿分无从算起，Thompson 的曲线还是平的，平均分更是为零。老王干脆定了个死规矩：任何新菜上架头几天，必须占满一定比例的推荐位，哪怕它大概率难吃。

这在工业界叫「冷启动结合」。新内容没有交互数据，无法参与纯数据驱动的打分。常见做法是分层探索：全局按一定比例把流量划给新内容池，池内再均匀或按简单规则分配；老内容池里则用 UCB 或汤普森采样精细运营。

数学上常写成加权混合：最终展示概率等于「带权 bandit 得分」加「新奇补偿」。λ 是探索权重，新内容上架越久、数据越多，λ 越小，策略逐渐从「无脑给曝光」过渡到「凭实力竞争」。这样既保证新菜有最低曝光，又不至于无限烧钱。

老王把「新菜必占推荐位」写成店里铁律，同时规定：上了三天还是没人点的菜自动下架。既给了新人机会，又防止了机会被浪费。冷启动与 EE 的结合，就是「有节奏地给机会，再按实力排座次」。

系统落地

光有算法还不够。老王学乖了：新策略先只在两张桌子上实验，收集顾客反馈，和常规策略对比流水，效果好再全店铺开，效果差就立刻回滚。这套流程，就是上线前的灰度验证。

工业界落地 EE 策略，通常分三步：流量切分、效果评估、迭代调参。先把少量真实流量分给新策略（比如 5%），跑一两周，计算提升率；确认正向收益后逐步放大流量，并持续观察点击率之外的长期指标，如用户留存与内容生态健康度。

评估离不开基线对比。提升率公式把新策略的收益和老策略做相对比较，避免绝对指标受季节、大盘波动干扰。参数也要跟着调：ε 从 0.1 起步，UCB 的探索力度、冷启动的 λ 大小，都要看实验数据说话，而不是拍脑袋定死。

老王把「先在两张桌上试水」写进店规，再也没有因为头脑发热一次性全店换菜单。推荐系统的 EE 落地同理：小步快跑、数据说话，让探索服务于长期收益，而不是为了探索而探索。

AI 应用场景

Python 演示

import mathimport random  class Restaurant:    """模拟一道菜(一个拉杆)"""     def __init__(self, true_rate):        self.true_rate = true_rate  # 真实好评率,对算法隐藏        self.n = 0                  # 被推荐次数        self.good = 0               # 获得好评次数        self.alpha = 1              # Beta分布参数        self.beta = 1     def mean(self):        return self.good / self.n if self.n else 0.0     def reward(self):        return 1 if random.random() < self.true_rate else 0  def play(dishes, idx):    d = dishes[idx]    win = d.reward()    d.n += 1    d.good += win    d.alpha += win    d.beta += 1 - win    return win  def run_epsilon_greedy(dishes, pulls=2000, eps=0.1):    total = 0    for _ in range(pulls):        if random.random() < eps:            idx = random.randrange(len(dishes))        else:            idx = max(range(len(dishes)), key=lambda i: dishes[i].mean())        total += play(dishes, idx)    return total  def run_ucb(dishes, pulls=2000):    total = 0    for t in range(pulls):        scores = []        for d in dishes:            if d.n == 0:                scores.append(float("inf"))            else:                scores.append(d.mean() + math.sqrt(2 * math.log(t + 1) / d.n))        idx = scores.index(max(scores))        total += play(dishes, idx)    return total  def run_thompson(dishes, pulls=2000):    total = 0    for _ in range(pulls):        scores = [random.betavariate(d.alpha, d.beta) for d in dishes]        idx = scores.index(max(scores))        total += play(dishes, idx)    return total  def build_dishes():    return [Restaurant(0.30), Restaurant(0.55), Restaurant(0.42)]  if __name__ == "__main__":    print("epsilon-greedy:", run_epsilon_greedy(build_dishes()))    print("UCB           :", run_ucb(build_dishes()))    print("Thompson      :", run_thompson(build_dishes()))

1. idx = random.randrange(len(dishes))以 ε 概率随机选菜，这就是「每十桌留一桌随便点」。
2. idx = max(range(len(dishes)), key=lambda i: dishes[i].mean())其余时候选当前平均好评率最高的菜，对应「利用」。
3. if d.n == 0: scores.append(float("inf"))没试过的菜优先探索，避免 UCB 除零。
4. scores.append(d.mean() + math.sqrt(2 * math.log(t + 1) / d.n))UCB 核心：均值加不确定性补偿分。
5. scores = [random.betavariate(d.alpha, d.beta) for d in dishes]从每道菜的 Beta 曲线抽签，实现汤普森采样。
6. d.alpha += win; d.beta += 1 - win用真实反馈更新贝叶斯信念，曲线越抽越准。

常见误区

面试题