上下文老虎机（Contextual Bandit）

可视化演示

模拟多臂老虎机的探索与利用权衡、LinUCB置信上界选择与三种算法累积奖励对比，展示上下文老虎机决策过程。

困境起源：探索与利用的两难

开业前夜，小明手里只有二十杯原料。方案 A：给三种口味相同的备货，挨个试水——这就是“探索”；方案 B：第一晚谁卖得多，第二天就主推谁——这就是“利用”。他选了 B，结果第二天就吃了亏：桂花酿在闷热天爆卖，海盐芝士下雨天才是王者。第一晚的“利用”建立在太少数据上，反而错失了真正的爆款。

这个矛盾在算法里被称为多臂老虎机（Multi-Armed Bandit）问题：你面对 K 个“臂”（候选物品），每轮只能选一个，随后收获一个奖励。选的依据只有过去的观察：选择当前平均收益最高的臂，是贪心利用；随机或刻意选个冷门臂，是探索。两者冲突：过度利用让估计越来越偏，过度探索则白白浪费收益。

为了量化“亏了多少”，算法界定义了遗憾（Regret）——与“上帝视角下每轮都选最优臂”相比，你的策略少赚了多少。它是一个累加指标，好的策略要让遗憾增长得尽可能缓慢。

小明第一晚亏掉的不是某杯奶茶的成本，而是“本该卖桂花酿却推了海盐芝士”的遗憾。冷启动所以难，就是因为数据太少时，任何“利用”都可能是建立在运气上的错觉，这正是遗憾的源头。

核心原理：上下文就是情报

摆摊一周后，小明摸出了门道：不看顾客就推荐，等于蒙眼拉老虎机。但他眼尖——学生放学爱喝果茶，白领加班要咖啡因，下雨天没人碰冰饮。这三条“情报”让推荐成功率直线上升。上下文老虎机（Contextual Bandit）的核心，就是把这种“现场情报”纳入决策。

普通多臂老虎机对所有人都推同一套。而上下文老虎机每轮额外拿到一个上下文特征向量 \( x_t \)，决策从“选期望最高的臂”升级为“在给定情报的前提下，选条件期望最高的臂”。数学上定义本轮的最优臂为：

这意味着奖励不是固定的属性，而是“上下文 + 候选品”共同作用的结果。整个学习过程是在线的：每轮先决策、拿奖励、再更新参数，循环往复，永不离线。

情报的价值是决定性的：同样的桂花酿，推给学生是鸡肋，推给下夜班的白领就是救赎。上下文老虎机的全部智慧，就在于把每一轮决策从“蒙眼拉杆”变成“看牌下注”。

经典算法：LinUCB 聪明打分

小明给每款口味记了两本账：一本是“平均分”（销量不错），一本是“样本数”（只试过三次）。只按平均分排，试过三次却满分的新口味会挤掉试过三百次的稳定款；只看样本数，又永远轮不到黑马。聪明的做法是给“样本少”的口味加一点“潜力分”。

LinUCB（Linear Upper Confidence Bound）假设奖励与特征线性相关：\(\mathbb{E}[r \mid x, a] = x^{\top}\theta_a\)。它把每个臂的观测数据用岭回归（带正则化的最小二乘，防止过拟合）拟合出参数估计 \(\hat{\theta}_a\)，同时算出该臂在当前上下文下的置信区间。决策规则是“收益估计 + 不确定性红利”：

其中 \( A_a = X_a^{\top} X_a + \lambda I \) 是该臂历史特征的累积信息矩阵。数据越多，第二项越小，算法就越“自信”；反之，数据稀缺的臂会获得额外加分，从而获得被尝试的机会。

小明终于学会了“有原则的冒险”：雨天样本少，海盐芝士的置信区间宽，算法就主动推它补数据；等样本攒够了，潜力分自然消失，一切回归实力说话。与最简单的 ε-贪心（固定概率乱试）相比，LinUCB 把探索精准投向“最需要信息”的地方，是更高级的经营智慧。

特征构建：情报的原材料

小明的情报来自三张嘴：顾客自己说（我在减肥）、隔壁摊主透露（芝士卖爆了）、天气软件（马上有台风）。信息来源越多元，判断越准。上下文老虎机的“情报”，在工程上就是特征工程。

推荐场景里，上下文向量通常由三类特征拼接而成：用户特征 \( u_t \)（年龄、地域、历史兴趣的 embedding）、物品特征 \( v_a \)（类目、价格带、是否新品）、场景特征 \( s_t \)（时段、天气、端型渠道）。三者拼成一个长向量：

实践中要注意：类别特征要做 one-hot 或 embedding 压缩；连续特征要归一化；高维稀疏特征要靠正则项压住方差。特征的质量直接决定上下文老虎机的上限——模型再聪明，喂进去的是噪音，出来的也只能是噪音。

没有情报或情报失真时，上下文老虎机就退化成普通老虎机——蒙着眼睛的老板再会算计也白搭。特征工程的意义，就是确保小明收到的每条情报都指向同一个问题：“这杯该不该推给这个人？”

冷启动应用：新品试卖的科学

青提气泡茶上架了。小明没押上全部原料，也没藏着不卖，而是定下“试卖期”：前三天每天留出三成推荐名额给新品，并记录不同人群的反应。这就是探索预算（exploration budget）的思路。

最朴素的实现是 ε-贪心（epsilon-greedy）：每轮以概率 \( \varepsilon_t \) 均匀随机试一个臂，以 \( 1-\varepsilon_t \) 的概率按当前模型推荐最优。冷启动初期 \( \varepsilon_t \) 设大，保证新品有曝光；数据回收后 \( \varepsilon_t \) 随时间衰减，避免长期浪费流量。此外还可以用相似老品的模型参数作为先验，给新品一个“热身起点”，这就是迁移预热的雏形。

一周后数据说话：青提气泡茶在女学生中爆火、在加班白领中翻车。科学的试卖让“押错宝”的代价可控，也让黑马不会被沉默埋没——这就是冷启动从“赌运气”走向“做实验”的关键一步。

多样性保障：探索即多样

老顾客开始抱怨：“每次打开菜单都是桂花酿，再香也腻了。”小明意识到，除了赚钱，还要让顾客经常“眼前一亮”——偶尔推一杯冷门但可能惊艳的款。

推荐系统的多样性诉求与探索天然同源：不确定性越高的臂被越多地尝试，长尾内容就获得曝光机会。汤普森采样（Thompson Sampling）是实现这一点的优雅工具。它不为每个臂选一个固定分数，而是从该臂收益参数的后验分布中“抽一个可能的参数”，再用抽到的参数打分选臂。不确定性大的臂，后验分布更宽，抽中极端高分值的概率更高，因而更容易被选中：

相比 LinUCB 的“确定性加分”，汤普森采样把探索做成了“概率性抽签”，天然带来推荐结果的随机性与惊喜感。工程上还可叠加类别配额：限制同一类目曝光占比，避免探索过度集中，再对长期无曝光的臂做长尾兜底。

小明不再“钦点”每天的推荐，而是按每款口味的“置信分布”抽签：老爆款稳、新口味险，抽签结果偶尔惊艳、经常稳赚。多样性不是牺牲效率，而是探索带来的红利。

工程实践：复盘与落地

一个月后，小明翻账本：哪次推广值得、哪场试卖亏了、雨天和晴天的毛利差多少。算法工程也一样，光有策略不够，还得有复盘体系。

线上最常用的指标是累计奖励（总点击/总购买）与点击率；对比试验则以随机策略为基线，计算提升度（Lift），也就是报告里常说的“提升 12%”：

落地时还要注意：离线评估用历史日志做回放（replay）只能近似，因为旧日志由旧策略生成，存在选择偏差；真正的判断要靠线上 A/B 测试与监控。参数调优上，\( \alpha \) 与 \( \varepsilon \) 按业务目标调节：追求快速收敛就调小，内容生态要求多样性就调大。最终把“观察—决策—反馈—复盘”循环固化到系统里，才算真正把上下文老虎机落地。

账本清晰，小明下一次上新就更从容。上下文老虎机不是“放着就灵”的魔法机，而是一套需要反复评估、调参、监控的经营循环——算法再先进，也要靠扎实的工程复盘来喂养。

AI 应用场景

Python 演示

import numpy as npfrom collections import Counter  class LinUCB:    """上下文老虎机: LinUCB 算法实现"""     def __init__(self, n_arms, dim, alpha=0.3, lam=1.0):        self.n_arms = n_arms        self.dim = dim        self.alpha = alpha        self.lam = lam        self.A_list = [lam * np.eye(dim) for _ in range(n_arms)]        self.b_list = [np.zeros(dim) for _ in range(n_arms)]     def select(self, x):        scores = []        for a in range(self.n_arms):            A_inv = np.linalg.inv(self.A_list[a])            theta = A_inv @ self.b_list[a]            ucb = x @ theta + self.alpha * np.sqrt(x @ A_inv @ x)            scores.append(ucb)        return int(np.argmax(scores))     def update(self, arm, x, reward):        self.A_list[arm] += np.outer(x, x)        self.b_list[arm] += reward * x  def simulate():    np.random.seed(42)    n_arms, dim, n_steps = 5, 4, 3000    true_theta = np.random.randn(n_arms, dim) * 0.5    model = LinUCB(n_arms, dim, alpha=0.3)    rewards = []    picks = []    for _ in range(n_steps):        x = np.random.randn(dim)          # 随机上下文: 用户/场景特征        arm = model.select(x)             # 决策: 选一个候选品        logit = x @ true_theta[arm] + np.random.randn() * 0.1        reward = 1.0 if logit > 0 else 0.0        model.update(arm, x, reward)      # 学习: 用反馈更新参数        rewards.append(reward)        picks.append(arm)    print("累计奖励:", sum(rewards))    print("点击率:", round(sum(rewards) / n_steps, 4))    print("各臂拉动次数:", dict(Counter(picks)))  if __name__ == "__main__":    simulate()

1. self.A_list = [lam * np.eye(dim) for _ in range(n_arms)]为每个臂准备一个“信息账本”（协方差矩阵），lam 控制正则强度。
2. theta = A_inv @ self.b_list[a]岭回归闭式解：用当前账本还原该臂的参数估计，相当于“平均分”。
3. ucb = x @ theta + self.alpha * np.sqrt(x @ A_inv @ x)上置信界 = 预测收益 + 不确定度红利，就是小明心里的“潜力分”。
4. return int(np.argmax(scores))选 UCB 最高的臂：既看平均分，更看弯道超车的空间。
5. self.A_list[arm] += np.outer(x, x)决策后更新账本：同一臂见过的上下文越多，它的不确定度越窄。
6. self.b_list[arm] += reward * x把“这轮赚不赚”写进参数估计，反馈驱动参数迭代。
7. arm = model.select(x)每轮决策只查账、不学习；学习在拿到奖励之后才发生。
8. model.update(arm, x, reward)在线学习闭环：决策 → 反馈 → 更新 → 下一轮更聪明。

常见误区

面试题