SARSA算法详解：边走边学的强化学习策略

可视化演示

算法起源：一本边走边记的带路笔记

小萨刚搬进陌生城市时，手里只有空白本子。他每走到一个路口，凭感觉选一条路，走完一段就在本子上记一笔：“从A路口走左边路，到了B路口，沿途感觉不错。”下次再到A路口，他翻本子，挑评分最高的一条路走。这个朴素过程就是强化学习的雏形：智能体（小萨）与环境（城市）不断交互，靠奖励信号（沿途感受）逐步改进决策，而不是像监督学习那样需要现成的标准答案。

强化学习把这种“试错学习”形式化为马尔可夫决策过程（MDP）：智能体在每个时刻观察状态 \(s_t\)，执行动作 \(a_t\)，环境反馈奖励 \(r_{t+1}\) 并转移到新状态 \(s_{t+1}\)。小萨的“带路笔记”在算法里就是一张Q值表，而时序差分（TD）思想的精髓在于：不等结局分晓，每走一步就用实际体验修正估计。小萨不需要等真正找到餐厅，每走完一段路就能立刻更新记录。

$$V(s_t) \leftarrow V(s_t) + \alpha\left[r_{t+1} + \gamma V(s_{t+1}) - V(s_t)\right]$$

1. 旧估计 \(V(s_t)\)：本子上对当前路口价值的旧评分，来自之前所有路过的经验积累。

$$V(s_t)$$

2. 步长系数 \(\alpha\)：一次记录修正的幅度，太大则判断摇摆不定，太小则学得太慢。

$$\alpha$$

3. 即时奖励 \(r_{t+1}\)：刚走完这段路的真实感受，是“新信息”的来源。

$$r_{t+1}$$

4. 未来价值 \(\gamma V(s_{t+1})\)：对新路口价值的打折估计，代表“后面还能捞到多少好处”。

$$\gamma V(s_{t+1})$$

5. TD误差：实际体验加未来预期与旧判断的差距，差距越大这次修正就越猛。

$$r_{t+1} + \gamma V(s_{t+1}) - V(s_t)$$

1994年，Rummery和Niranjan在一份技术报告中首次提出SARSA，后来Sutton将其推广并正式命名。小萨或许不知道，自己“边走边记”的习惯，在学术界有一个响亮的名字——而这个名字本身，就是算法的完整故事。

五大要素：本子上的五栏记录

小萨的本子上，每一条记录都固定写五栏：当前路口、选的路、沿途感受、到达的新路口、下一步打算选的路。这五栏缺一不可，对应着SARSA的五个字母。第一栏State是智能体观察到的环境快照——路口A和路口B看似都是路口，但位置不同，决策就不同；第二栏Action是在这个状态下选择的动作——选左边还是右边；第三栏Reward是执行动作后环境给出的反馈——沿途舒适还是崎岖；第四栏State'是转移后的新状态；第五栏Action'则是根据当前策略为下一时刻选好的动作。

$$\tau_t = \left(s_t,\ a_t,\ r_{t+1},\ s_{t+1},\ a_{t+1}\right)$$

1. 当前状态 \(s_t\)：t时刻智能体所处的位置，对应本子第一栏“当前路口”。

$$s_t$$

2. 执行动作 \(a_t\)：智能体在状态 \(s_t\) 下选择的动作，对应“选的路”。

$$a_t$$

3. 即时奖励 \(r_{t+1}\)：执行动作后环境返回的奖励信号，注意下标是 \(t+1\)，因为奖励是动作之后的反馈。

$$r_{t+1}$$

4. 后继状态 \(s_{t+1}\)：动作执行后转移到的新路口。

$$s_{t+1}$$

5. 后继动作 \(a_{t+1}\)：在新状态下按当前策略选定的下一步动作——这是SARSA最关键的“同轨”标记。

$$a_{t+1}$$

注意，SARSA里的五个字母不是孤立概念，而是一条完整的因果链：你在哪个路口（s），决定走哪条路（a），路况反馈（r），到了新路口（s'），还要为下一步做个打算（a'）。小萨每记录一笔，本子就多了一行真实的城市经验。

更新公式：用一次体验修正一条笔记

小萨走到B路口后，会做这样一件事：把这次实际体验和出发前对A路口的预期对比，如果实际体验比预期好，就给A路口的这条路线加分；如果比预期差，就减分。SARSA的更新公式就是这句话的数学翻译。这里的“预期”不是凭空想象，而是由“这步实际奖励 + 对新路口的未来估计”构成的。

$$Q(s_t, a_t) \leftarrow Q(s_t, a_t) + \alpha\left[r_{t+1} + \gamma Q(s_{t+1}, a_{t+1}) - Q(s_t, a_t)\right]$$

1. 更新目标 \(Q(s_t,a_t)\)：本子上“在路口 \(s_t\) 选动作 \(a_t\)”这条记录的当前评分。

$$Q(s_t,a_t)$$

2. 步长 \(\alpha\)：学习率，控制这次修正的力度，通常取0到1之间的小数。

$$\alpha$$

3. 即时奖励 \(r_{t+1}\)：这次行动的立刻反馈，对应“这段路的真实感受”。

$$r_{t+1}$$

4. 折扣因子 \(\gamma\)：0到1之间，衡量未来奖励的打折程度，越接近1越看重长期收益。

$$\gamma$$

5. 后继价值 \(Q(s_{t+1},a_{t+1})\)：在下一个路口 \(s_{t+1}\) 按当前策略实际选出的动作 \(a_{t+1}\) 对应的Q值。

$$Q(s_{t+1},a_{t+1})$$

6. TD误差：整个公式的灵魂——实际体验加折扣未来与当前估计的差距，差值驱动着每一次学习。

$$r_{t+1} + \gamma Q(s_{t+1},a_{t+1}) - Q(s_t,a_t)$$

如果给小萨的公式配一句口诀，那就是“旧分 + 小步修正”。修正的方向由TD误差决定，修正的幅度由\(\alpha\)控制。正是这个看起来简单的算式，让小萨的本子越记越准，也让算法在数学上保证最终能收敛到稳定的策略。

策略平衡：什么时候听本子，什么时候瞎逛

小萨面临一个两难：如果每次都听本子的，走评分最高的路，那他永远发现不了新开的捷径；如果每次都不听本子，到处乱逛，那可能永远到不了餐厅。这个矛盾在强化学习中叫“探索与利用”的权衡——探索是尝试没走过的路，利用是走已知最好的路。SARSA用一套叫 \(\varepsilon\)-greedy（ε-贪心）的机制解决这个难题：绝大多数时候利用，但留一小部分概率随机探索。

$$\pi(a|s) = \begin{cases} 1 - \varepsilon + \dfrac{\varepsilon}{|A(s)|}, & a = \arg\max_a Q(s,a) \\[6pt] \dfrac{\varepsilon}{|A(s)|}, & \text{其他动作} \end{cases}$$

1. 最优动作概率：选中贪心最优动作的概率，除了大部分“听话”概率，还分到一份探索概率。

$$1 - \varepsilon + \frac{\varepsilon}{|A(s)|}$$

2. 非最优动作概率：每个非最优动作在探索时都有平等机会被选中。

$$\frac{\varepsilon}{|A(s)|}$$

3. 可选动作数 \(|A(s)|\)：状态 \(s\) 下可供选择的动作总数，用于把探索概率均匀分摊。

$$|A(s)|$$

4. 探索率 \(\varepsilon\)：控制“瞎逛”和“听话”的比例，通常初始较大，训练后期逐渐调小。

$$\varepsilon$$

对小萨来说，\(\varepsilon\) 就是他允许自己“偶尔抽风”的概率。前期本子还很薄，需要多探索，\(\varepsilon\) 大一些；后期本子越来越厚，路线的好坏已经比较清楚，\(\varepsilon\) 就该调小，把小萨从“爱乱逛的路痴”改造成“稳重的熟客”。

同轨学习：用自己真实走的路更新判断

小萨的笔记有一条铁律：只记录自己实际走过的路，绝不记录“听说最好但没走过”的路。这听起来很傻——明明听说有条路更好，为什么不记？但正是这个“傻”成就了SARSA最重要的特性。当小萨站在路口，心里想的是“我实际会走哪条路”，而不是“理论上哪条路最好”，这种用当前策略产生的动作来更新Q值的方式，就叫同轨策略（on-policy）。

$$\begin{aligned} \text{SARSA:} & \quad Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha\left[r_{t+1} + \gamma Q(s_{t+1},a_{t+1}) - Q(s_t,a_t)\right] \\[6pt] \text{Q-Learning:} & \quad Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha\left[r_{t+1} + \gamma \max_a Q(s_{t+1},a) - Q(s_t,a_t)\right] \end{aligned}$$

1. 同轨的关键 \(a_{t+1}\)：SARSA的后继值是当前策略（含探索）实际选出的动作对应的Q值，本子只记真实走过的路。

$$Q(s_{t+1},a_{t+1})$$

2. 离轨的关键 \(\max_a\)：Q-Learning的后继值是对后继状态所有动作取最大，假设下一步总能做出最优选择。

$$\max_a Q(s_{t+1},a)$$

在经典的“悬崖行走”环境中，两种算法的差异被放大：Q-Learning因为总是幻想“下一步能完美避开悬崖”，学到一条贴着悬崖边的冒险路线；SARSA考虑到自己真实执行时可能会“手抖”（ε探索选了危险动作），学到一条绕远但安全的保守路线。哪个更好？取决于场景——如果错误代价极高，小萨宁愿多绕两步路。

算法流程：从第一次出门到轻车熟路

小萨第一次出门时手忙脚乱：忘了带本子、走错路口、把体验记串行。但试了几次后，他总结出一套固定流程：出门前把本子放兜里，站在路口先翻本子，选一条路走，到新路口后立刻掏出本子记录。算法流程就是把这套“出门流程”固化成程序。强化学习的最终目标是最大化长期累积回报——也就是小萨希望从出门到抵达餐厅，全程体验分总和最高，而且要考虑时间一长体验会打折。

$$G_t = r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$

1. 即时序列 \(r_{t+1}, r_{t+2}, \ldots\)：未来每一步获得的即时奖励，对应一路上每一段路的体验分。

$$r_{t+1}, r_{t+2}, r_{t+3}, \ldots$$

2. 折扣幂次 \(\gamma^k\)：越遥远的奖励折扣越多，体现“远水解不了近渴”。

$$\gamma^k$$

3. 求和 \(\sum_{k=0}^{\infty}\)：把未来所有时刻的折扣奖励累加，得到这条路径的总分。

$$\sum_{k=0}^{\infty} \gamma^k r_{t+k+1}$$

完整的SARSA流程可以概括为四步：先初始化Q表（本子清零）；然后在每个回合从初始状态出发，用ε-greedy选初始动作；接着在回合内循环——执行动作、观察奖励和新状态、再选新动作、更新Q表、移动状态；最后判断Q表是否收敛（变化量足够小）或达到最大回合数。小萨经过几百次出门实践后，本子上的评分趋于稳定，他也就从“路痴”变成了“活地图”。

代码实现：悬崖边的谨慎行者

为了让小萨的记路本领在程序里跑起来，我们需要一个迷你“城市”——经典的悬崖行走（Cliff Walking）环境。这是一张4行12列的网格地图，起点在左下角，目标餐厅在右下角，中间一排是悬崖，掉下去奖励为﹣100并立即结束本回合。每走一步普通格子的代价是﹣1，到达终点奖励+50。这个环境特别能检验算法的“性格”：SARSA会学到贴着安全区绕行的路线，而Q-Learning总想贴着悬崖边走。

$$\varepsilon_{t} = \max\left(\varepsilon_{\min},\ \varepsilon_{\text{init}} \times \text{decay}^{t}\right)$$

1. 初始探索率 \(\varepsilon_{\text{init}}\)：训练第一回合的探索概率，通常设为0.5到1.0。

$$\varepsilon_{\text{init}}$$

2. 衰减系数 \(\text{decay}\)：略小于1的常数，每回合乘以一次，\(\varepsilon\) 逐步缩小。

$$\text{decay}^{t}$$

3. 下限 \(\varepsilon_{\min}\)：防止探索率衰减到零，保证始终保留少量随机性。

$$\varepsilon_{\min}$$

在Python实现中，Q表是一张三维数组，代码逻辑与公式一一对应：用ε-greedy选动作，执行后观察奖励和新状态，再选下一步动作，然后套用更新公式。完整可运行的代码在下一节给出，小萨的“带路笔记”终于从本子变成了 q_table。

应用场景：从游戏角色到仓库管家

学会了记路的小萨，从陌生城市街道走进了更广阔的世界。第一个用武之地是仓库机器人路径规划：传统AGV小车按固定磁条路线运行，遇到临时堆放的货物只能停车等待，而用SARSA类算法训练的机器人能在线学习绕行路线，每走一步都用实际路径更新策略，特别适合“走错一步就撞货架”的仓储场景。第二个典型场景是游戏NPC决策：开放世界里的NPC如果只会按脚本走固定路线，玩家很快会觉得无聊，SARSA能让NPC边探索边学会在城镇里灵活移动、躲避障碍。

$$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha\left[r_{t+1} + \gamma \sum_{a'} \pi(a'|s_{t+1}) Q(s_{t+1},a') - Q(s_t,a_t)\right]$$

1. 策略加权期望：用策略概率对后继状态所有动作的Q值做加权平均，而不是只取某一个动作。

$$\sum_{a'} \pi(a'|s_{t+1}) Q(s_{t+1},a')$$

2. 折中方案：期望SARSA是SARSA与Q-Learning的中间地带，方差更小，是高风险的进阶方向。

$$\alpha\left[r_{t+1} + \gamma \sum_{a'} \pi(a'|s_{t+1}) Q(s_{t+1},a') - Q(s_t,a_t)\right]$$

SARSA也有自己的边界：表格型Q值无法应对高维状态空间（比如围棋的棋局），探索效率也比较低。但作为强化学习入门的第一块基石，它把“同轨策略”“时序差分”“探索与利用”这些核心思想讲得明明白白。小萨的本子，正是通往深度强化学习大门的起点。

AI 应用场景

Python 演示

import numpy as np  class GridWorld:    """4x12 悬崖行走环境：起点在左下，目标在右下，中间是悬崖"""     def __init__(self, rows=4, cols=12):        self.rows = rows        self.cols = cols        self.start = (rows - 1, 0)        self.goal = (rows - 1, cols - 1)        self.cliff = set((rows - 1, c) for c in range(1, cols - 1))        self.actions = [(0, 1), (0, -1), (1, 0), (-1, 0)]        self.state = self.start     def reset(self):        self.state = self.start        return self.state     def step(self, action_idx):        dr, dc = self.actions[action_idx]        r = max(0, min(self.rows - 1, self.state[0] + dr))        c = max(0, min(self.cols - 1, self.state[1] + dc))        self.state = (r, c)        if self.state in self.cliff:            return self.state, -100, True        if self.state == self.goal:            return self.state, 50, True        return self.state, -1, False  def choose_action(q_table, state, epsilon, n_actions):    """epsilon-greedy 策略：随机探索或选当前最优"""    if np.random.random() < epsilon:        return np.random.randint(n_actions)    return int(np.argmax(q_table[state[0], state[1]]))  def sarsa(env, episodes=400, alpha=0.1, gamma=0.95, epsilon=0.2):    """SARSA 训练循环，返回训练好的 Q 表"""    rows, cols = env.rows, env.cols    n_actions = len(env.actions)    q_table = np.zeros((rows, cols, n_actions))    for ep in range(episodes):        state = env.reset()        action = choose_action(q_table, state, epsilon, n_actions)        total_reward = 0        while True:            next_state, reward, done = env.step(action)            next_action = choose_action(q_table, next_state, epsilon, n_actions)            q_sa = q_table[state[0], state[1], action]            q_next = q_table[next_state[0], next_state[1], next_action]            q_table[state[0], state[1], action] = q_sa + alpha * (reward + gamma * q_next - q_sa)            state, action = next_state, next_action            total_reward += reward            if done:                break    return q_table  if __name__ == "__main__":    env = GridWorld()    q = sarsa(env)    print("Q表形状:", q.shape)    state = env.reset()    path = [state]    while state != env.goal:        action = int(np.argmax(q[state[0], state[1]]))        state, _, done = env.step(action)        path.append(state)        if done and state != env.goal:            break    print("学习到的路径:", path)

1. q_table = np.zeros((rows, cols, n_actions))初始化Q表，对应小萨的清空本子，所有路线评分从零开始。
2. if np.random.random() < epsilon:ε-greedy的探索分支，小萨“偶尔抽风”乱走一条路。
3. next_action = choose_action(q_table, next_state, epsilon, n_actions)SARSA的精髓：用当前策略真实选出下一步动作，而不是幻想最优动作。
4. q_sa = q_table[state[0], state[1], action]取出当前状态动作对的旧Q值，相当于本子上那条路线的旧评分。
5. q_table[state[0], state[1], action] = q_sa + alpha * (reward + gamma * q_next - q_sa)完整执行SARSA更新公式，用一次真实体验修正一条笔记。
6. if done and state != env.goal: break如果掉进悬崖，提前结束本回合，避免在悬崖下面继续瞎走。

常见误区

面试题