搞懂强化学习里的状态转移

可视化演示

动态演示搞懂强化学习里的状态转移的核心机制，通过开始/执行/监控/完成四种模式展示关键概念与交互流程。

状态转移定义

飞行棋里，“你站在第 3 格”只是一个静止的画面。真正让游戏流动起来的，是接下来的动作和结果：你掷出骰子，数出点数，棋子向前推进，停在了新的格子上。这个“从原来的格子出发，经过一次选择，最终到达新格子”的完整过程，就是一次状态转移。状态转移把“现在”和“紧接着的下一步”连成一条线，是整局游戏最基本的组成单元。

在强化学习中，这条线被写成一种简洁的记号：当前状态、动作、下一状态，三者排成一行。智能体并不是凭空跳跃的，而是像棋子一样，沿着一条条转移链条，一步一步走过整个任务。你观察到的每一次“位置变化”，背后都是一次状态转移在起作用。

这里的“状态”可以有多种形态：棋盘上的格子、机器人的关节角度、游戏画面里的敌我位置。无论形态如何，状态转移回答的核心问题只有一个——在当前位置做了某个选择之后，环境会把智能体送到哪里。这个“由环境说了算”的响应机制，正是智能体与世界交互的全部依据。

把这一环一环的转移首尾相接，就构成了智能体完整的一生。理解了“从哪来、做了什么、到哪去”这个基本单元，后面所有关于确定性与随机性的剧情，都会围绕它展开。

确定性转移

有的飞行棋地图上藏着传送门：你走进去，就一定会出现在地图另一角的那一格，没有任何例外，也不存在第二种可能。这种“进去了就必然到某处”的路径，就是确定性转移。在确定性转移面前，结果没有悬念——你只需要知道出发点和动作，就能提前写下结局。

数学上，确定性转移用一个函数就能刻画：下一状态等于某个关于当前状态和动作的函数。这里的函数就像传送规则表，给定输入，输出唯一。围棋是再典型不过的例子：你在某个空交叉点落下一颗黑子，棋盘上就必然多出这颗子，不会因为“运气”而落去别处。

确定性环境有很多好处：规则简单、结果可复现、调试方便。做算法实验时，如果同样的状态和动作永远产生同样的结果，那么“这一步为什么走错了”就很容易定位。程序化的网格迷宫、华容道、八皇后这类任务，都属于确定性环境，也是强化学习入门时最常用来练手的对象。

传送门给飞行棋带来了“确定”的路段，但整局游戏真正的悬念，藏在那些结果不唯一的路段里——把骰子抛向空中的那一刻，你无法预知它会停在哪个数字上。

随机性转移

大多数时候，你在飞行棋的普通路段上并不依靠传送门，而是掷骰子。骰子有可能停在 1，有可能停在 2，也有小概率停在 3——下一格并不唯一，但你提前知道每种结果大致有多大可能。这种“结果不唯一，但可能性已知”的转移，就是随机性转移。

随机性转移不再用“唯一输出”的函数描述，而是给出一个概率分布：下一状态是从这个分布中“抽取”出来的。抽取符号表示“按分布随机产生”，好比从骰子筒里摇出一个点数，每个点数的出现都服从预设的可能性。

扑克牌发牌、带随机风的网格世界、机器人轮子打滑，都是随机环境的例子。机器人收到“前进”指令，可能稳稳前进一格，也可能因打滑停在原地甚至偏向一侧。随机环境让学习难度上升，但也更贴近真实世界——同样的动作，不同时刻的结果不一样，智能体必须在不确定中做决策。反过来看，确定性其实只是随机性的一个极端特例：当某个结果的概率为 1 时，“随机”和“必然”就成了一回事。

飞行棋的刺激全在“随机”二字——骰子不停下，你永远不知道下一秒棋子在哪。但这份“不知道”并不是一团乱麻：它背后有一套可以算清楚、可以描述的概率。

转移概率

想知道手中的骰子是否偏心，你会反复掷它几百次，数一数每个面朝上的次数，再除以总次数。掷得越多，这个比值就越接近真实的概率。转移概率也是这么“数”出来的——它是随机状态转移的定量表达。

转移概率的记号在上一节已经出现：在状态 $s$ 执行动作 $a$ 后，到达状态 $s'$ 的可能性。它的取值永远在 0 到 1 之间；0 表示绝不会到，1 表示必定到。如果把所有候选下一状态的概率加起来，恰好等于 1，因为“无论结果如何，总得去某个地方”。

在已知规则的环境里，转移概率可以直接由规则算出；在未知环境里，则可以靠统计数据去估计：从状态 $s$ 出发执行动作 $a$ 共尝试了 $N(s,a)$ 次，其中 $N(s,a,s')$ 次到达了 $s'$，那么转移概率就用这个比值来近似。这正是强化学习中“环境模型学习”的基本思想：智能体通过与环境的反复互动收集样本，逐步把环境的行为规律“摸清”。

飞行棋高手往往凭经验估计“掷出 6 的概率”，那份经验正是 $N(s,a,s')/N(s,a)$ 在心里的估算。把这种估算能力教给 AI，它就能在没有规则手册的现实环境里自己摸清路数。

MDP四元组

一盒完整的飞行棋说明书会写清四样东西：棋盘上有哪些格子，你能执行哪些行动，每个格子上掷骰后可能到哪些格子且各有多大可能，以及停在特定格子能获得什么奖励。状态转移放进这四件套里，就组成了强化学习的标准框架——马尔可夫决策过程，简称 MDP。

MDP 用四元组把“一个决策问题”完整封装起来。状态集合是所有可能位置的清单；动作集合是智能体所有可选行动的清单；转移函数记录环境如何响应——从每个状态执行每个动作会到哪儿、概率多大；奖励函数则给出这次转移带来的即时回报。四者合在一起，才构成一个可供算法求解的完整环境。

在这四件套里，转移函数 $\mathcal{P}$ 尤其关键：它是环境的“动力系统”，没有它，智能体就不知道未来可能通向何方，也就谈不上规划长期收益。判断一个实际问题能否用强化学习解决，第一步往往就是尝试把它改写成这四元组——能写出来，就等于拿到了进入强化学习世界的入场券。

有了这本完整的说明书，飞行棋的每一局都可以被当作决策问题求解；同样地，工程师把现实任务写进四元组，就等于把真实世界的复杂性，转化成了强化学习算法能够下嘴的食粮。

转移矩阵

把飞行棋地图上所有格子之间的路径整理成一张大表：每一行代表你现在所在的格子，每一列代表你可能到达的格子，行列交叉处填上对应的概率。这张“路网表”就是转移矩阵，它让整张地图的结构一目了然。

对某个固定的动作而言，所有状态之间的转移概率确实可以排成一个矩阵。矩阵的第 $i$ 行表示“从状态 $s_i$ 出发”，第 $j$ 列表示“到达状态 $s_j$”，元素的值就是对应的转移概率。状态多时矩阵可能巨大到写不下，但在小规模问题里，它是最直观的环境清单。

转移矩阵最著名的性质是：每一行的概率之和等于 1。原因非常朴素——从任意状态出发执行动作后，下一状态必然是全部候选中的某一个，哪怕这个状态就是它自己，总概率也必须全部用完。这个“行和为 1”的性质常被用作建模正确性的检查：若某一行加起来不是 1，说明要么漏记了某个转移，要么某个概率写重了。

路网表能让你一眼看清飞行棋的全局结构；当真实任务的状态空间大到矩阵写不下时，“每一行概率都凑满 1”这份直觉，依然能帮你及早发现环境模型里藏着的 bug，避免带着错误的“地图”上路。

环境与仿真

专业的飞行棋爱好者并不会头铁地直接跟朋友开局，而是先在家里搭一块同款棋盘的模型，反复演练各种掷骰结果，把每条路线的后果摸透，再去实战。强化学习的仿真环境，就是这块安全的“练手棋盘”——而状态转移，正是搭建它的支柱。

仿真器必须忠实回答一个问题：如果智能体在状态 $s$ 执行动作 $a$，下一步会到哪里、概率多大。这个回答就来自状态转移建模。而这一切之所以可行，依赖一个至关重要的假设——马尔可夫性质。

马尔可夫性质说：下一状态的分布，只与当前状态和当前动作有关，与更早的历史无关。就像飞行棋：这次掷骰子的结果，只取决于你当前所在的格子和本回合的骰子，跟你之前绕了多少圈、踩过哪些陷阱毫无关系。正是这个性质，让环境模型只需要维护“一格一本账”的转移表，而不必记录整个故事。自动驾驶仿真、游戏 AI、机器人训练，都建立在这样的仿真环境之上，让智能体在虚拟世界里安全地试错千万次，再把成熟的策略搬到现实。

飞行棋的下一步只由“现在在哪”决定，所以你不必向对手背诵走到第 3 格之前的全部棋史。状态转移让世界变得简洁，而这份简洁，正是它得以成为整个强化学习地基的根本原因。

AI 应用场景

Python 演示

import random  class DiceWalkEnv:    """飞行棋环境: 状态 0 到 n_states-1, 动作固定为掷骰子."""    def __init__(self, n_states=6):        self.n_states = n_states        self.state = 0        # P[s][a][s'] = 转移概率, 动作空间只有 1 种, 用 0 表示        self.P = self._build_transition()     def _build_transition(self):        P = {}        for s in range(self.n_states):            P[s] = {0: {}}            for step, prob in ((1, 0.4), (2, 0.4), (3, 0.2)):                dest = min(s + step, self.n_states - 1)                P[s][0][dest] = P[s][0].get(dest, 0.0) + prob        return P     def reset(self):        self.state = 0        return self.state     def step(self, action=0):        dist = self.P[self.state][action]        r = random.random()        total = 0.0        next_state = self.state        for s2, prob in dist.items():            total += prob            if r < total:                next_state = s2                break        self.state = next_state        done = (self.state == self.n_states - 1)        reward = 1.0 if done else 0.0        return next_state, reward, done  def estimate_transition(env, s, action, n_trials=20000):    """用频率估计从 s 执行 action 到达各状态的转移概率."""    counts = {}    for _ in range(n_trials):        env.state = s        s2, _, _ = env.step(action)        counts[s2] = counts.get(s2, 0) + 1    return {s2: c / float(n_trials) for s2, c in counts.items()}  if __name__ == "__main__":    env = DiceWalkEnv(n_states=6)    s = env.reset()    for t in range(8):        s2, reward, done = env.step(0)        print("s=%d --a0--> s'=%d  reward=%.0f" % (s, s2, reward))        s = s2        if done:            print("到达终点状态 S%d." % s)            break     print("真实转移概率 P(s'|s=1,a=0):", env.P[1][0])    est = estimate_transition(env, 1, 0)    print("采样估计的转移概率:        ", est)

1. for step, prob in ((1, 0.4), (2, 0.4), (3, 0.2)):枚举骰子的三种可能结果与对应概率，这是环境规则的心脏。
2. P[s][0][dest] = P[s][0].get(dest, 0.0) + prob不同骰子点数可能落到同一个目标格，概率必须累加，这是构建转移表的关键。
3. r = random.random()生成一个 [0,1) 均匀随机数，用于按概率分布采样下一状态。
4. for s2, prob in dist.items(): total += prob; if r < total:把概率切成依次排列的区间段，随机数落在哪段，就采到哪个状态。
5. env.state = s每次都把环境复位到指定起点，再执行一次动作，以收集同条件下的样本。
6. counts[s2] / float(n_trials)命中次数除以总次数，用频率估计转移概率。

常见误区

面试题