探索策略：UCB与Thompson采样

可视化演示

探索利用困境

我带着你站回美食街的十字路口。左边招牌写着“老张牛肉面”，你昨晚刚吃过，味道扎实，不惊艳但不会错；右边一条巷子黑漆漆的，据说藏着本地人最爱的深夜烧烤。你真该放弃已经很满意的牛肉面，去赌一把烧烤吗？这个问题在学术界有个响亮的名字——探索与利用困境。

在强化学习中，智能体的“餐厅”是一组可选择的动作，每个动作的奖励分布是未知的。它要最大化长期累积奖励，而不是只赢下眼前这一局。探索（Exploration）意味着选择那些历史反馈不多、但可能更好的动作；利用（Exploitation）则是选择当前已知最优的动作。只探索不利用，会让智能体徒劳地反复尝试垃圾选项；只利用不探索，会让它在变化的环境中逐渐落伍。

如何量化“输了多少”？学术上有个工具叫后悔度（Regret）。假设你已经知道全局最优动作的期望奖励是 $\mu^*$，而你实际每次选择动作 $i$ 得到的期望奖励是 $\mu_i$。到时间 $T$ 为止的累积后悔度为：

一个好的探索策略会让后悔度随 $T$ 增长得尽量慢（比如对数增长），而不是线性增长。回到美食街：如果你每天都换一家店试，吃了七天踩了五天雷，你的“后悔度”就很高。聪明的策略应该让你头几天多探索，后几天锁定神店。这就是为什么 UCB 和 Thompson 采样存在——它们是帮你把“后悔度曲线”压低的两套选餐心法。

UCB置信上界

你站在老张牛肉面馆前，一个更细的心思冒出来：我虽然只吃过这家一次，但万一它其实超好吃呢？我只是这次运气差罢了。UCB 策略的精神正是：对样本少的店给予“乐观假设”的加分。它不满足于只看平均分，还要看“可能的上限”。

在算法层面，UCB1 为每个动作 $i$ 维护两个量：平均奖励 $\hat{\mu}_i$ 和被选次数 $n_i$。它用如下公式计算“乐观得分”：

其中 $t$ 是当前总步数。公式右边那一项就是“探索红利”：一个动作被选得越少（$n_i$ 小），它的红利就越大，相当于系统给未知的店打了一剂“乐观强心针”。

你会注意到，$\ln t$ 增长很慢，所以探索红利会随着总时间增加而自然衰退。这正是 UCB 的优雅之处：前期把各家店都照顾到（高奖励高频奖励），后期逐渐收敛到明确最棒的那家。它不需要任何人工设定的“探索概率”，一切由公式自己控制。

Thompson采样

另一位美食家朋友给了你完全不同的建议——不要看“平均分加红利”，你应该在心里给每家店画一张“概率分布图”，然后每次从分布中随机抽一个数，挑选抽出的数最大的店去试。这位朋友就是 Thompson 采样。

Thompson 采样采用贝叶斯思维：对于每个动作 $i$，我们对其真实奖励概率 $p_i$ 持有一个先验信念。假设奖励服从伯努利分布（成功/失败），我们就可以用 Beta 分布作为信念的概率密度表示。设 $S_i$ 为成功次数，$F_i$ 为失败次数，则后验分布为：

每次决策时，Thompson 采样对每个 $i$ 从其 Beta 分布中采样一个 $\tilde{p}_i$，然后挑选 $\tilde{p}_i$ 最大的动作执行。

Thompson 采样的探索是“内生”的：对于一个样本少的动作，Beta 分布很扁，抽到各种值的概率都很大，因此有时会随机地抽到高分从而被选中；随着样本增多，分布变尖，采样逐渐集中在真实均值附近，探索自然减少。它不需要显式的探索项，一切由抽样的随机性自动完成。就像那位美食家朋友，他脑中每家的“美味概率地图”越精准，越敢于锁定目标，但仍然保留一点“换口味”的随机冲动。

策略对比分析

两位美食家，一位靠“公式给分”，一位靠“随机抽样”，谁更聪明？这取决于你如何定义聪明。

UCB 是确定性策略：给定同样的历史数据，计算出的上界是固定的，因此选择也是固定的。它的行为可预测、调试方便，适合对可解释性要求较高的场景。而 Thompson 采样是随机策略：每次从分布中抽取的结果不同，选择也有随机性，更接近人类决策中的“概率性直觉”，适合需要多样化探索的场景。

从数学性质上看，两者在“后悔度”上都有渐近最优保证。UCB1 的后悔度上界是 $O(\sqrt{KT\ln T})$，Thompson 采样同样能达到理论最优的对数后悔，且在许多实际模拟中收敛更快、波动更小：

用美食街的话说：UCB 像一个拿了评测机构的打分表下馆子的人，严谨、不会出错，但也可能错过“评分表外”的神店；Thompson 像一个信任自己味觉直觉的人，有时会冒险走进巷子深处。数据足够多时，两人的最终选择会高度重合；但在有限轮数内，Thompson 往往能在“踩雷”和“发现宝藏”之间找到更平滑的节奏。

内在动机探索

如果美食街没有点评 App、没有朋友推荐，你还能依靠什么来引导探索？答案是：好奇心本身。这正是“内在动机”（Intrinsic Motivation）探索的思想源头。

在强化学习中，很多任务奖励稀疏——比如机器人开门，只有开门成功才给 1 分，中间几十步全是 0。此时外部奖励信号太弱，智能体学不到东西。内在动机探索的思路是：给智能体一个额外的内部奖励，奖励它做出“能带来新信息”的行为。最经典的做法是用“预测误差”作为内在奖励：

把这份内在奖励加到外部奖励上，智能体就会被“好奇心”驱动，主动探索那些它还没理解的环境区域。这正是 DeepMind 在 AI 玩《蒙特祖玛的复仇》等稀疏奖励游戏中取得突破的核心技巧之一。回到美食街：如果外部奖励是“吃饱的满足感”，那内在动机就像你内心的好奇——“这条巷子里到底有什么？”这股好奇心会推着你离开舒适区，走向更深处的未知。

业务落地实践

美食街的智慧最终要开成连锁店。探索策略在真实业务中最有代表性的落地场景是三处：推荐系统、广告投放和临床试验。

推荐系统冷启动是 UCB 与 Thompson 最典型的战场。新上架的商品没有点击数据，系统面临“要不要推荐它”的两难。用 Thompson 采样：对每个新品初始化一个 Beta 分布，用点击与展示来更新参数，推荐时采样选择。这样新品会在少量曝光中快速收敛出真实点击率，老品也不会被挤出首页。Netflix、YouTube 的早期排序层都使用过类似机制。

广告投放方面，互联网广告平台要在多个广告创意的“点击潜力”未知时做预算分配。传统 A/B 固定分流浪费流量，而 UCB 的“乐观上界”可以让低曝光创意快速获得试探，后续预算自动流向高潜力创意。实际业务中把单次曝光看作一次拉杆，把点击看作奖励即可，算法不必修改任何逻辑。

临床试验的自适应分组设计则更有社会价值。将病人随机分配到不同的候选药物组，以“治愈”为奖励，Thompson 采样可以动态调整每组入组比例，让更多病人被分到更有希望的药物组，同时不放弃对未知药物的探索。这在药物研发中既节约样本又更人道。

这些场景本质共享同一个骨架：有限预算（展示次数/投放花费/病患名额）、不确定的收益（点击/转化/治愈）、需要长期最大化的总收益。UCB 与 Thompson 的区别在业务上只需考虑——你的系统是否能接受随机性，以及你是否需要可解释的决策理由。

---

AI 应用场景

Python 演示

import randomimport math  class UCB1:    def __init__(self, n_arms):        self.n_arms = n_arms        self.counts = [0] * n_arms        self.values = [0.0] * n_arms     def select(self, t):        for arm in range(self.n_arms):            if self.counts[arm] == 0:                return arm        ucb_values = []        for arm in range(self.n_arms):            bonus = math.sqrt(2 * math.log(t) / self.counts[arm])            ucb_values.append(self.values[arm] + bonus)        return max(range(self.n_arms), key=lambda i: ucb_values[i])     def update(self, arm, reward):        self.counts[arm] += 1        n = self.counts[arm]        self.values[arm] = (self.values[arm] * (n - 1) + reward) / n  class ThompsonSampling:    def __init__(self, n_arms):        self.n_arms = n_arms        self.successes = [1] * n_arms        self.failures = [1] * n_arms     def select(self, t):        samples = []        for arm in range(self.n_arms):            alpha = self.successes[arm]            beta = self.failures[arm]            samples.append(random.betavariate(alpha, beta))        return max(range(self.n_arms), key=lambda i: samples[i])     def update(self, arm, reward):        if reward == 1:            self.successes[arm] += 1        else:            self.failures[arm] += 1  def simulate(bandit, probs, rounds=1000):    total_reward = 0    for t in range(1, rounds + 1):        arm = bandit.select(t)        reward = 1 if random.random() < probs[arm] else 0        bandit.update(arm, reward)        total_reward += reward    return total_reward, bandit.counts  if __name__ == "__main__":    probs = [0.3, 0.5, 0.8, 0.4, 0.65]    ucb = UCB1(len(probs))    thompson = ThompsonSampling(len(probs))     ucb_reward, ucb_counts = simulate(ucb, probs)    thompson_reward, thompson_counts = simulate(thompson, probs)     print("true probs:", probs)    print("UCB       reward:", ucb_reward, "counts:", ucb_counts)    print("Thompson  reward:", thompson_reward, "counts:", thompson_counts)

1. self.values[arm] = (self.values[arm] * (n - 1) + reward) / n增量式更新平均奖励，不需要保存历史全部奖励，节省内存。
2. bonus = math.sqrt(2 * math.log(t) / self.counts[arm])这就是 UCB 的探索红利：选得越少、时间越长，附加分越大。
3. max(range(self.n_arms), key=lambda i: ucb_values[i])找到上界最大的臂，作为本轮选择。
4. random.betavariate(alpha, beta)从 Beta 分布中采样，这是 Thompson 采样“随机探索”的机制核心。
5. if reward == 1: self.successes[arm] += 1 else: self.failures[arm] += 1贝叶斯更新，用新观测修正后验分布。
6. for t in range(1, rounds + 1): arm = bandit.select(t)模拟主循环，每轮选臂、拿反馈、更新参数。

常见误区

面试题