强化学习灵魂的贝尔曼方程

可视化演示

通过交互式参数调整和采样模拟，直观理解正态分布的概率密度函数及中心极限定理的收敛过程。

值函数与回报

登山者休整时会翻一翻腰包，数一数这一路捡了多少金币。但真正老练的山客不会只盯着眼前——他会盘算：如果一直沿这条山脊走下去，后面还能捡多少。强化学习里的智能体就像这位登山者，每一步从环境拿到一点“即时奖励”，而它真正想衡量的，是从当前这一步开始，未来所有奖励的总和。这个总和，就是强化学习里的“回报”。

不过远方的事情充满不确定性：山可能塌方，路可能被封，向导的旧地图也可能过时。所以登山者习惯给远处的金币打个折扣——越远的宝藏，越要打折。这个打折力度就是折扣因子 γ，取值在 0 到 1 之间。γ 越接近 1，说明登山者越愿意为遥远的宝藏等待；γ 越小，说明他更看重眼前的收益。把每一步的奖励按 γ 的幂次逐级打折再累加，就得到了回报的数学定义：

有了回报，就可以给每个位置打分：从状态 s 出发、按照某个策略 π（也就是“接下来的走法规则”）继续走，平均能拿到多少回报——这个分数称为状态值函数：

回到登山者：状态值函数 v_π(s) 就是他站在某块岩石上，凭多年经验预计还能捡到多少金币的平均估计。腰包里的金币会花光，但算出每个位置的“身价”，才是他这趟山行最重要的收获。

贝尔曼推导

登山者站在三岔路口，不会把每条路走到黑再回头比较。他更聪明：先看脚下这一步能捡几枚金币，再抬头望一望前方路口的“藏宝指数”，心里快速加总。换句话说——当前位置的价值，等于这一步的金币加上打折后的下一位置价值。这个想法听起来简单，但把它写成数学，就是改变了整个领域的贝尔曼方程。

从回报的定义出发：G_t 的第一项是 R_{t+1}，后面的所有项恰好又构成一个从 t+1 时刻开始的回报 G_{t+1}，只不过整体乘以 γ。因此回报可以拆成“即时部分 + 递推的未来部分”。再对两边按策略 π 和环境的转移规律取期望，就得到状态值函数满足的递推关系：

这就像登山者的心算口诀：“我这地方值多少？看看每条路第一脚能捡多少，再望一望下一站的身价打个折，按我平时的选择偏好平均一下。”正因为方程是递推的，它才能一遍遍自我更新，最终逼近真实的价值——这是后面所有迭代算法的基石。

两值函数关系

登山者评价一个位置有两个角度。第一个角度是“这块岩石本身值多少”，不管接下来从哪条路下去——这是状态值 v_π(s)。第二个角度是“如果我明确选择走左边那条路，值多少”——这是动作值 q_π(s,a)，也叫 Q 值，它把动作也纳入评估：先锁定动作 a，之后仍按策略 π 走。如果只问“站在这值多少”，其实就是把所有动作的 Q 值按策略概率加权平均：

反过来，动作值也能用状态值表达：选了动作 a 后，环境把你送到新位置 s' 并给奖励 r，于是 q_π(s,a) = Σ p(s',r|s,a)[r + γv_π(s')]。两个函数就像山的正面与侧面——从正面看是状态值，从侧面看是动作值，其实描述的是同一座山。登山者有时问“这位置值几何”，有时问“这条道值几何”，两种问法通过贝尔曼方程自由切换。正是这种互相转换的能力，让后面所有算法都能灵活选择自己需要的视角。

最优贝尔曼

登山队伍里总有一位经验最丰富的向导。别人站在三岔路口还要犹豫，他却能一眼看出哪条路的总回报最高，毫不犹豫地迈步。我们把这种“每一步都选最优”的走法称为最优策略 π_*。在最优策略下，每个位置的价值都达到各自的天花板，这就是最优值函数 v_*(s)。它的方程和普通贝尔曼方程几乎一样，只改了一处：原来的“按策略概率加权平均”变成了“直接取最大”：

登山者听到这里恍然大悟：原来最优策略不用全局规划，只需要在每个位置都问一句“哪条路的价值最大”，然后坚决走那条路。最优贝尔曼方程就像一张绘制了全山“宝藏上限”的传奇地图——只要算出每个位置的 v_*，最优策略就手到擒来。这也是后面值迭代和 Q 学习共同追求的目标。

动态规划解法

理论很美，但现实是登山者搭不起整座山的观景台。他既没有全知视角，也不可能一脚踏遍每条路。他的变通办法是“反复修订地图”：白天按旧地图走，收集沿途见闻；夜晚在营地，他根据今天的见闻给每个位置重新估价，把旧地图上的数字替换掉，得到一张新地图。日复一日，地图上的数字越来越接近真实。这种“用旧估值算新估值、反复替换直至收敛”的做法，就是动态规划。

值迭代用如下公式逐轮更新每个状态的价值，把第 k 轮的估计变成第 k+1 轮的估计：

扩展与应用

\displaystyle Q(s, a) \leftarrow Q(s, a) + \alpha\left[r + \gamma \max_{a'} Q(s', a') - Q(s, a)\right]

AI 应用场景

Python 演示

import numpy as np # 4x4 网格世界, 演示贝尔曼方程驱动的值迭代# 状态 (i,j), 动作 0=上 1=下 2=左 3=右# 到达右下角得奖励 1, 其他转移奖励 0# 每一步有 0.1 概率滑向两侧动作, 模拟环境随机性 H = W = 4GAMMA = 0.9E = 0.1  # 滑行概率ACTIONS = [(-1, 0), (1, 0), (0, -1), (0, 1)]  def transition_probs(i, j, a):    """返回 {下一状态: 概率}, 包含动作滑行扰动"""    probs = {}    choices = [(a, 1 - 2 * E), ((a + 1) % 4, E), ((a - 1) % 4, E)]    for act, p in choices:        ni, nj = i + ACTIONS[act][0], j + ACTIONS[act][1]        ni, nj = max(0, min(H - 1, ni)), max(0, min(W - 1, nj))        probs[(ni, nj)] = probs.get((ni, nj), 0) + p    return probs  def value_iteration(rounds=60):    """用贝尔曼方程反复更新状态值, 每轮用旧值算新值"""    v = np.zeros((H, W))    for _ in range(rounds):        v_old = v.copy()        for i in range(H):            for j in range(W):                if (i, j) == (H - 1, W - 1):                    v[i, j] = 0.0                    continue                best = float("-inf")                for a in range(4):                    q = 0.0                    for (ni, nj), p in transition_probs(i, j, a).items():                        reward = 1.0 if (ni, nj) == (H - 1, W - 1) else 0.0                        q += p * (reward + GAMMA * v_old[ni, nj])                    best = max(best, q)                v[i, j] = best    return v  if __name__ == "__main__":    result = value_iteration()    print("贝尔曼方程驱动下收敛的状态值:")    print(np.round(result, 3))

1. choices = [(a, 1 - 2 * E), ((a + 1) % 4, E), ((a - 1) % 4, E)]定义动作执行时有 0.1 概率滑向两侧，对应环境转移概率 p(s'|s,a)
2. v_old = v.copy()复制上一轮估值，保证本轮所有更新都用旧值计算，正是 v_{k+1} 依赖 v_k 的体现
3. reward = 1.0 if (ni, nj) == (H - 1, W - 1) else 0.0到达终点才给即时奖励，其余转移奖励为 0
4. q += p * (reward + GAMMA * v_old[ni, nj])累加每个可能下一状态的贡献，即贝尔曼方程中的 Σp[r + γv(s')]
5. best = max(best, q)对四个动作取最大 Q 值，对应最优贝尔曼方程中的 max 运算
6. v[i, j] = best用当前状态的最优价值替换旧估值，完成一轮值迭代更新

常见误区

面试题