想象你是一个叫阿宝的小朋友，被魔法传送到一座会随机吹风的“糖果迷宫”。你既没有全图，也没有指南针，只能看清脚下这块石板上的符号——这就是“状态”。每走一步，迷宫老爷爷会按照规则把你送到另一块石板上，顺便给你一颗糖或让你踩到荆棘，这就是“奖励”和“转移概率”。而你对“远方宝藏”的耐心程度，决定了你愿不愿意放弃眼前的糖果，这就是“折扣因子”。把这一切写成数学，就是 MDP 五元组。本文就像拆开迷宫规则书一样，逐个解释五个要素，并用阿宝的冒险把它们串起来。

岗位关联

对 AI 从业者而言，MDP 五元组是强化学习的第一块基石；看懂它，你才有能力读懂策略梯度、DQN、PPO 等所有主流算法。

目录
  1. 可视化演示
  2. 五元组核心：迷宫老爷爷的规则书
  3. 状态空间 S：脚下的石板
  4. 动作空间 A：可选的冒险指令
  5. 转移概率 P：迷宫里的随机风
  6. 奖励函数 R：糖果与荆棘
  7. 折扣因子 γ：阿宝的耐心指数
  8. 迷宫演示：把五元组拼成完整冒险
  9. RL应用：从规则书到聪明阿宝
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

动态演示MDP五元组的核心机制，通过入门/进阶/实战/优化四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

MDP五元组：五元组整 五元组整体框架与各要素定位 状态空间S的定义与设计 核心机制可视化 MDP五元组整体架构与关键组件

五元组核心：迷宫老爷爷的规则书

迷宫老爷爷递给阿宝一本只有五页的说明书：第一页写“你现在会在哪些石板出现”，第二页写“你能做哪些动作”，第三页写“每个动作会被风吹到哪”，第四页写“踩到每块石板得几分”，第五页写“你有多远视”。这五页纸合起来，就是马尔可夫决策过程（MDP）的五元组。它把一件复杂的事拆成五个看得见摸得着的零件：状态空间 S、动作空间 A、转移概率 P、奖励函数 R、折扣因子 γ。

从数学上看，一个 MDP 被简洁地写成：

五个要素不是孤立的：阿宝站在哪块石板上，决定能发哪些动作；动作被风吹向哪里，决定下一块石板；下一块石板上有什么糖果，决定即时奖励。整本书读起来，就是一个“现在——选择——未来”的循环。

⟨S,A,P,R,γ⟩\langle S, A, P, R, \gamma \rangle
这个公式的价值在于：任何强化学习问题，都可以先问一句“我的五元组是什么”，把模糊的目标翻译成数学对象。
  1. 状态集合 S阿宝所有可能站立的石板格子，组成一个集合。
    S={s1,s2,…,sn}S = \{s_1, s_2, \dots, s_n\}
  2. 动作集合 A阿宝在每块石板上能发出的移动指令，组成一个集合。
    A={a1,a2,…,am}A = \{a_1, a_2, \dots, a_m\}
  3. 转移概率 P执行某个动作后，迷宫老爷爷把阿宝送到各格子的概率规则。
    P(s′∣s,a)P(s'|s,a)
  4. 奖励函数 R每到达一个新格子，阿宝得到的糖果或荆棘分数。
    R(s,a,s′)R(s,a,s')
  5. 折扣因子 γ阿宝对未来奖励的耐心系数，范围从 0 到 1。
    0≤γ≤10 \le \gamma \le 1

状态空间 S：脚下的石板

阿宝在迷宫里最关心的问题是“我现在在哪”。他不需要记住三小时前在哪个房间摔过跤，只需要看懂脚下石板的符号。这套“所有可能位置的集合”，就是状态空间 S。在强化学习中，状态是智能体对环境的观测，有时是坐标、有时是图像、有时是传感器的读数。

状态最重要的性质是马尔可夫性：昨天怎么来的不重要，重要的是现在在哪。这个性质写成公式是：

实际做状态设计时，要问自己：这些信息是否足够阿宝判断下一步？如果只告诉阿宝“格子编号”却不告诉哪些格子有墙，那这个状态就不满足马尔可夫性。反过来，把几百帧历史全塞进状态，往往让问题更难学。状态空间的设计，就像给阿宝挑一副刚好的眼镜：看得清关键符号，又不会被无关细节晃花眼。

P(st+1∣st,at)=P(st+1∣st,at,st−1,at−1,st−2,… )\displaystyle P(s_{t+1}|s_t,a_t) = P(s_{t+1}|s_t,a_t,s_{t-1},a_{t-1},s_{t-2},\dots)
马尔可夫性告诉我们：状态里已经包含了做决策所需的全部信息，历史已成过去式。
  1. 左端下一时刻状态只受当前状态和当前动作影响。
    P(st+1∣st,at)P(s_{t+1}|s_t,a_t)
  2. 右端条件即使把过去一串状态和动作都写进条件里，信息量也不会增加。
    st,at,st−1,at−1,st−2,…s_t,a_t,s_{t-1},a_{t-1},s_{t-2},\dots
  3. 等号含义过去的历史对预测下一状态没有额外帮助，因此可以被安全地忘记。

动作空间 A：可选的冒险指令

阿宝站在石板前，面前有四个方向牌：上、下、左、右。他不能瞬移，也不能穿墙；这套“能做的所有指令”就是动作空间 A。在强化学习中，动作可能是离散的（向左、向右、跳跃），也可能是连续的（方向盘转角、油门大小）。动作空间定义了智能体影响环境的全部手段。

有了动作，还必须有一条规则来决定“什么时候选哪个动作”。这就是策略 π，它表示在某个状态下选择某个动作的概率：

动作空间的设计要考虑约束：如果阿宝左面是墙壁，那么“向左”这个动作的转移结果只能是原地不动，但它依然可以存在于动作集合里。真正的关键是：动作集合要和状态空间形成闭环——每个状态都能找到合适的动作，每个动作又决定下一个状态。没有动作菜单，阿宝就只能站在原地发呆；没有策略，阿宝就只能靠运气乱走。

π(a∣s)\displaystyle \pi(a|s)
策略是连接状态和动作的桥梁：看到什么局面，就按什么概率出什么招。
  1. π策略，也就是阿宝的“选择习惯”。
    π\pi
  2. a|s在状态 s 下选择动作 a 的条件概率。
    a∣sa|s
  3. 整体含义策略不一定是确定性指令，也可以是一个概率分布，例如 70% 向右、30% 向下。

转移概率 P：迷宫里的随机风

阿宝明明向右走，却被一阵穿堂风吹回了原味，或者吹到了斜前方。这不是游戏 bug，而是迷宫的设计。转移概率 P 就是描述这种随机性的数学工具。它回答的问题是：在状态 s 下执行动作 a，环境会把我送到哪一个 s′，概率分别是多少。

用条件概率写出来是：

实际建模转移概率时，既要考虑“向右走大概率到右边格子”，也要考虑“有 10% 概率原地不动”。这种随机性可能来自真实世界的摩擦、噪声、对手行为，甚至未知环境。正因为有随机风，阿宝不能靠一条死记硬背的路线赢到最后，他必须学会在不确定性中做选择。

P(s′∣s,a)=Pr⁡{St+1=s′∣St=s,At=a}\displaystyle P(s'|s,a)=\Pr\{S_{t+1}=s' \mid S_t=s, A_t=a\}
转移概率是“环境的物理规则”，而不是智能体的能力；智能体再聪明也不能让 P 变大。
  1. Pr 条件概率“给定”当前状态和动作，求下一状态的分布。
    Pr⁡{⋅∣St=s,At=a}\Pr\{\cdot \mid S_t=s, A_t=a\}
  2. S_{t+1}=s'下一时刻落在某个具体状态 s′ 的事件。
    St+1=s′S_{t+1}=s'
  3. 概率归一所有可能下一状态的概率加起来必须等于 1。
    ∑s′P(s′∣s,a)=1\sum_{s'} P(s'|s,a)=1

奖励函数 R：糖果与荆棘

阿宝踩到一块亮晶晶的石板，得到一颗糖；踩到另一块暗红色的石板，被荆棘扎了一下。迷宫老爷爷用这种方式给阿宝即时反馈，这就是奖励函数 R。在 MDP 里，奖励是一个实数：正数代表“好结果”，负数代表“坏结果”，零代表“没有特别的事发生”。

奖励函数可以写成：

奖励设计是强化学习里最考验直觉的事。奖励越稀疏，阿宝越难知道“刚才做对了什么”；奖励设计得太手把手，又容易诱导阿宝钻空子，只刷分数不完成真实目标。好的奖励函数应该像迷宫老爷爷的评分板：它不告诉阿宝“你下步该左拐”，只告诉他“你刚刚吃到糖了”。

R(s,a,s′):S×A×S→R\displaystyle R(s,a,s'): S \times A \times S \rightarrow \mathbb{R}
奖励只是“这一下好不好”，不是“这一步该怎么走”；阿宝是靠一串奖励的累加来学会好策略的。
  1. 定义域奖励取决于当前状态、动作和下一状态这三个信息。
    (s,a,s′)(s,a,s')
  2. 箭头含义把三元组映射成一个实数分数。
    S×A×S→RS \times A \times S \rightarrow \mathbb{R}
  3. 输出正数表示糖果，负数表示荆棘，零表示无事发生。
    R\mathbb{R}

折扣因子 γ：阿宝的耐心指数

有一块遥远石板上放着十块糖，但要走一百步；阿宝到底愿不愿意为了它放弃眼下的一颗糖？迷宫老爷爷在规则书里留下一个参数 γ，用来表示阿宝对未来的耐心程度。γ 越接近 1，阿宝越愿意为了远期回报忍耐短期损失；γ 越接近 0，阿宝越只看重眼前。

长期回报 G_t 的定义，就是每一刻奖励按 γ 的幂次打折后相加：

如果 γ=0，阿宝只看当下这颗糖，未来的十块糖如同不存在；如果 γ 接近 1，阿宝会愿意绕很远的路去找大宝藏。折扣因子同时也是数学上的“镇定剂”：它防止无限时间任务的回报发散，也降低长期估计的不确定性。真实项目里，γ 往往取 0.9 到 0.99，具体取决于任务能持续多久、风险有多大。

Gt=Rt+1+γRt+2+γ2Rt+3+⋯=∑k=0∞γkRt+k+1\displaystyle G_t = R_{t+1} + \gamma R_{t+2} + \gamma^2 R_{t+3} + \cdots = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}
折扣因子把“未来的一串奖励”压缩成“现在的一个数字”，方便阿宝比较走哪条路更赚。
  1. 即时奖励第一步拿到的奖励不打折，直接加进来。
    Rt+1R_{t+1}
  2. 折扣系数第 k 步未来的奖励乘以 γ 的 k 次方。
    γk\gamma^k
  3. 无限求和把从此刻开始的所有未来奖励加总成一个回报值。
    ∑k=0∞γkRt+k+1\sum_{k=0}^{\infty} \gamma^k R_{t+k+1}

迷宫演示：把五元组拼成完整冒险

纸上谈兵结束，阿宝正式进入 4×4 糖果迷宫。迷宫的每块格子是状态 S；上下左右四个方向是动作 A；风吹导致的随机偏移是转移概率 P；格子里的 +1、-1、+5 是奖励 R；阿宝心里默认 γ=0.9。五元组不再是抽象符号，而是一张可以直接演示的冒险地图。

假设阿宝从格子 0 出发，依次走到：

  • 第 1 步：移动到格子 7，得到 +5；
  • 第 2 步：被风吹到格子 11，得到 +2；
  • 第 3 步：移动到格子 13，踩到荆棘，得到 -1。

那么这段轨迹的折扣回报是：

计算结果是 6.59。如果阿宝走另一条路，先在 13 踩一次 -1，再绕到 7 拿 +5，最终折扣回报就会明显变低。五元组把“好不好”这个模糊感受，变成了一个可以比较的数值。强化学习的任务，正是在这无数条轨迹中找一条回报最高的路径。

G0=r1+γr2+γ2r3=5+0.9×2+0.81×(−1)=6.59\displaystyle G_0 = r_1 + \gamma r_2 + \gamma^2 r_3 = 5 + 0.9 \times 2 + 0.81 \times (-1) = 6.59
回报不是简单把奖励相加，而是“越晚的奖励越不值钱”的加权和。
  1. r_1、r_2、r_3每一步实际获得的即时奖励。
    r1,r2,r3r_1, r_2, r_3
  2. γ 与 γ²第二步奖励乘一次折扣，第三步奖励乘两次折扣。
    γr2+γ2r3\gamma r_2 + \gamma^2 r_3
  3. G₀从起点开始评估整条轨迹的“打折后的总甜度”。
    G0G_0

RL应用：从规则书到聪明阿宝

迷宫老爷爷并没有直接告诉阿宝“你必须先到 7 号格再转向 11 号格”，而是让他反复走、反复挨扎，慢慢总结出一套策略。这个“反复尝试 + 对比折扣回报”的过程，就是强化学习。MDP 五元组是问题描述，RL 算法则是求解器。

求解的目标是找一个最优策略：

从游戏陪练、机器人导航到推荐系统，到处都在用五元组描述问题：状态是什么、动作是什么、环境怎么转移、奖励怎么给、未来打几折。理解了五元组，你就拥有了读懂后续所有 RL 算法的共同语言——动态规划、蒙特卡洛、时序差分，本质上都是在解决同一个五元组问题。

π∗=arg⁡max⁡πE[G0∣π]\displaystyle \pi^* = \arg\max_\pi \mathbb{E}[G_0 | \pi]
最优策略就是让阿宝从起点出发时，期望折扣回报最大的那个选择规则。
  1. π\*最优策略，即最好的“看到什么状态就选什么动作”的规则。
    π∗\pi^*
  2. argmax在所有候选策略里挑一个期望回报最高的。
    arg⁡max⁡π\arg\max_\pi
  3. 期望回报在给定策略下，把随机未来路径产生的 G₀ 取平均。
    E[G0∣π]\mathbb{E}[G_0 | \pi]

AI 应用场景

游戏 AI 对战陪练

阶段：问题建模与奖励设计

解决的问题：传统 NPC 靠人工编写触发脚本，行为僵化、容易被玩家摸透。AI 用 MDP 对“游戏局面”建模：状态是敌我位置、血量、技能冷却；动作是移动、攻击、放技能；转移概率由对战随机性决定；奖励是击杀、推塔、胜利得分。设定好五元组后，AI 就可以通过强化学习自行学习出更强的对战策略。

具体案例：某手游的 AI 陪练系统，把 1v1 对战建模成 MDP，状态用 30 维向量表示，动作空间离散为 18 个技能组合，γ 设为 0.99。AI 经过数百万场对局后，胜率从 40% 提升到 85%，玩家反馈“对手更像真人”。

机器人自主导航

阶段：状态感知与策略学习

解决的问题：真实的轮式机器人存在打滑、地面摩擦力变化等不确定性，用传统“走固定路线”的方式容易偏离目标。MDP 将位置、速度、朝向作为状态，将前进、转向、刹车作为动作，用转移概率建模打滑，奖励设置为“到达目标 +1、碰撞 -1、每步小惩罚”。

具体案例：仓库里的自动搬运机器人，在 50 平方米区域内用激光雷达构建 2D 栅格状态，动作包括直行和原地旋转。设定 γ=0.95 后，机器人学会了在打滑时会主动减速，搬运效率提升约 30%。

推荐系统中的长期价值优化

阶段：奖励建模与长期回报优化

解决的问题：传统推荐系统只看单次点击率，容易推荐“标题党”内容，牺牲用户长期留存。交互式推荐把一次会话建模成 MDP：状态是用户最近浏览记录，动作是候选内容，转移概率是用户下次点击行为，奖励是点击、完播和收藏的加权分，γ 用来平衡“当下点击”和“长期留存”。

具体案例：某内容平台将每次请求变成五元组，奖励设为“点击 0.1 分、完播 1 分、收藏 3 分”，γ=0.9。实验组相比传统多目标模型，次日留存率提升 8%，人均观看时长提升 12%。

Python 演示

python66 行
import random  class MazeMDP:    """用五元组描述一个 4x4 糖果迷宫。"""     def __init__(self, size=4, gamma=0.9):        self.size = size        self.gamma = gamma        self.actions = [0, 1, 2, 3]        self.act_names = ['上', '下', '左', '右']        self.rewards = {0: -1.0, 7: 5.0, 15: 2.0}        self.trans = self._build_trans()     def _build_trans(self):        """构建状态转移概率 P(s'|s,a)。"""        n = self.size * self.size        trans = {s: {a: [] for a in self.actions} for s in range(n)}        for s in range(n):            x, y = s % self.size, s // self.size            for a in self.actions:                nx, ny = x, y                if a == 0:                    ny -= 1                elif a == 1:                    ny += 1                elif a == 2:                    nx -= 1                else:                    nx += 1                if 0 <= nx < self.size and 0 <= ny < self.size:                    ns = ny * self.size + nx                    trans[s][a] = [(ns, 0.9), (s, 0.1)]                else:                    trans[s][a] = [(s, 1.0)]        return trans     def step(self, s, a):        items = self.trans[s][a]        nexts = [ns for ns, _ in items]        probs = [p for _, p in items]        ns = random.choices(nexts, weights=probs)[0]        r = self.rewards.get(ns, 0.0)        return ns, r     def run_episode(self, start=0, horizon=10, seed=42):        random.seed(seed)        s = start        ret = 0.0        discount = 1.0        trajectory = [s]        for _ in range(horizon):            a = random.choice(self.actions)            s_next, r = self.step(s, a)            ret += discount * r            discount *= self.gamma            s = s_next            trajectory.append(s)        return trajectory, ret  if __name__ == '__main__':    m = MazeMDP(size=4, gamma=0.9)    traj, ret = m.run_episode(horizon=12, seed=7)    print('轨迹(格子编号):', traj)    print('折扣回报:', round(ret, 2))
目的：这份代码把糖果迷宫建模成一个 MDP 五元组，模拟阿宝随机走 12 步，并计算这整段冒险的折扣回报。
  1. self.rewards = {0: -1.0, 7: 5.0, 15: 2.0}这就是奖励函数 R：某些格子有糖，某些格子有刺，其余格子奖励为 0。
  2. trans[s][a] = [(ns, 0.9), (s, 0.1)]这一步定义转移概率 P：90% 走到目标格子，10% 原地不动。
  3. trans[s][a] = [(s, 1.0)]如果撞墙，就只能原地停留，概率为 1。
  4. ns = random.choices(nexts, weights=probs)[0]按转移概率采样出真实下一状态，模拟环境中的随机风。
  5. r = self.rewards.get(ns, 0.0)走到新格子后拿到对应奖励，这就是即时反馈。
  6. ret += discount * r把当前步奖励按折扣系数累加进长期回报。
  7. discount *= self.gamma每走一步，折扣系数乘一次 γ，形成 γ^k 的效果。
  8. trajectory.append(s)记录状态序列，对应 MDP 中的一条轨迹。

常见误区

误区我刚入门时以为 MDP 里的状态就是智能体开不开心、累不累，反正只要能决定下一步，状态随便写。

正解状态是环境在某个时刻的“可观测快照”，要包含做决策所需的信息。就像阿宝脚下石板只显示位置，不显示“心情”，但足够让他决定方向。如果关键信息缺失，马尔可夫性就会被破坏，再努力也学不会。

为何常见：“状态”这个词在日常语义中偏向人的内在感受，容易让人忽略它在 MDP 里更像“传感器读数”。

误区我以为给每一步设计奖励，就是要告诉智能体“你这一步该往左还是往右”，奖励写得越细，学得越快。

正解奖励只是“结果好不好”，不是“动作对不对”。阿宝踩到糖果得 +1，只能说明这里有糖，不能说明该不该从这条路绕。奖励设置得太“手把手”，会让智能体学会刷分而不是完成任务。

为何常见：老师打分的比喻容易让人把奖励当成指令，但 MDP 里的奖励是标量反馈，真正的决策规则是策略 π。

误区学 P(s'|s,a) 时总希望它等于 1，觉得转移概率确定，智能体就更容易学好。

正解P 描述的是环境客观的随机性，不是智能体的能力。迷宫里的风是客观存在的，RL 要做的不是把 P 改成 1，而是在这种不确定性下找到最优策略。

为何常见：日常经验里“概率高=更可靠”，容易把环境模型的概率当成评价指标。

误区因为 γ 接近 1 代表有远见，所以所有任务都应该用 0.99 甚至 0.999。

正解γ 是建模选择，反映“远期奖励的耐心成本”。阿宝如果太有耐心，愿意走一万步去拿远处的糖，可能因为迷宫寿命有限或中途撞墙而得不偿失。γ 越接近 1，回报估计的方差也越大，需要更长训练时间。

为何常见：“有远见”听起来总是好的，但忽略了折扣因子同时也是控制方差和防止发散的工具。

面试题

Q1. MDP 五元组中，衡量“未来奖励打折扣”的是哪一项？

单选题 · easy

  • A.状态空间 S
  • B.动作空间 A
  • C.折扣因子 γ← 正确答案
  • D.转移概率 P

答案：C。折扣因子 γ 负责给未来奖励打折扣，γ 越接近 1 越看重未来，越接近 0 越只看当下，所以选 C。

Q2. 阿宝只知道当前格子编号，这对应 MDP 五元组里的哪个要素？

单选题 · easy

  • A.状态空间 S← 正确答案
  • B.动作空间 A
  • C.奖励函数 R
  • D.转移概率 P

答案：A。当前位置是环境的可观测信息，属于状态空间 S。动作空间是能做的操作，奖励是获得的分数，转移概率是移动到下一格子的规则，均不符合。

Q3. 若折扣因子 γ=0，阿宝会怎样决策？

单选题 · easy

  • A.只关注当前一步奖励← 正确答案
  • B.永远不关注任何奖励
  • C.只关注遥远的未来
  • D.和 γ=1 完全相同

答案：A。γ=0 意味着未来奖励全部被乘以 0，只有当前一步奖励有实际意义，所以阿宝会变成“只顾眼前”的决策者。

Q4. 下列哪项最符合“转移概率”的含义？

单选题 · mid

  • A.踩到糖果立刻得分
  • B.向右走却被风吹偏← 正确答案
  • C.从菜单里选一个动作
  • D.记录当前所在位置

答案：B。转移概率 P 描述执行动作后环境把智能体送到哪个状态的随机规则。向右走却被风吹偏，正是环境随机性导致的状态转移，因此选 B。

Q5. 马尔可夫性质的核心含义是什么？

单选题 · mid

  • A.未来只与当前状态有关← 正确答案
  • B.未来依赖全部历史信息
  • C.动作只影响当前奖励
  • D.状态必须完全不重叠

答案：A。马尔可夫性指当前状态已经包含预测未来所需的全部信息，过去的历史不提供额外帮助。阿宝只需要看脚下石板，不需要回忆三天前的事。

Q6. 奖励函数 R(s,a,s') 通常表示什么？

单选题 · mid

  • A.动作在状态中的可行性
  • B.执行a到s'的即时反馈← 正确答案
  • C.长期累积收益的总和
  • D.环境状态转移的概率

答案：B。R(s,a,s') 是在状态 s 执行动作 a 并转移到 s' 后获得的即时奖励。长期累积收益是回报 G，而非单个奖励函数。

Q7. MDP 五元组中，下面哪几个属于其中的要素？

多选题 · mid

  • A.状态空间 S← 正确答案
  • B.奖励函数 R← 正确答案
  • C.动作空间 A← 正确答案
  • D.策略函数 π

答案：ABC。MDP 五元组是 S、A、P、R、γ，不包含策略 π。策略是智能体要学的东西，而不是问题描述本身的组成部分，因此 D 错误。

Q8. 状态设计时，以下做法正确的有哪些？

多选题 · hard

  • A.信息足够做决策← 正确答案
  • B.包含马尔可夫性← 正确答案
  • C.状态数量尽量多
  • D.保留所有历史细节点

答案：AB。状态要包含决策必需的信息并最好满足马尔可夫性。状态数量不是越多越好，历史细节也不是全部需要，过多冗余反而导致维度灾难。

Q9. 关于折扣因子 γ，正确的说法有哪些？

多选题 · mid

  • A.γ 越大越看重未来← 正确答案
  • B.γ 越小越看中眼前← 正确答案
  • C.γ 必须大于 1
  • D.γ 等于零只看即时← 正确答案

答案：ABD。γ∈[0,1]；越大越重视未来回报，越小越只看眼前。γ=0 时未来奖励被完全忽略，所以 C 错误。

Q10. 奖励函数采用“手把手教学”式设计，最可能带来什么问题？

单选题 · hard

  • A.学习速度一定更快
  • B.忽视真实长期目标← 正确答案
  • C.状态信息自动丢失
  • D.折扣因子自动变小

答案：B。奖励的作用是反馈结果，不是指导动作。如果每一步都按“老师觉得对的动作”给分，智能体可能只去刷这些分数，而忘记真正重要的长期目标，产生奖励作弊。