想象你是一位海豚驯兽师。你的装备只有三样：胸前的哨子、池边的鱼桶、面前的训练板。每当海豚跳出高难度动作，你吹哨、扔鱼、在板上画勾。可训练久了你会发现一个怪现象：海豚不再为鱼激动——它一听到哨声就雀跃；偶尔你忘了扔鱼，它反而急得拍水。海豚学会的，不是“有鱼”，而是“鱼何时来”；它兴奋的，不是鱼本身，而是“出乎意料”。 大脑深处也在上演同一出戏。神经元释放的多巴胺，并非大众口中的“快乐分子”，而是一本“惊喜账本”：实际所得超过预期，账本记正；等于预期，不动；低于预期，记负。而这本账的计算方式，恰好与人工智能中的时序差分学习（TD学习）同构。 本文就用驯兽师与海豚的故事，带你走一遍奖赏回路的“训练池”，看懂多巴胺如何当“惊喜信号员”、TD算法如何更新“价值预期”，借猴子实验见证大脑与算法的对应，最后落到AI工程实践——用“惊喜账本”设计奖赏、建模成瘾、启发类脑计算。

岗位关联

对AI从业者而言，理解多巴胺与TD学习的对应，等于掌握了奖赏设计的“生物直觉”：无论调参强化学习模型，还是探索类脑计算，都能从大脑这座亿万年进化出来的RL系统里获得灵感。

目录
  1. 可视化演示
  2. 奖赏回路基础
  3. 多巴胺编码
  4. TD学习算法
  5. 关键参数
  6. 时间信度分配
  7. 脑机对应验证
  8. 工程应用
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

模拟多巴胺奖赏预测误差信号、TD学习值函数更新与奖赏回路激活，展示神经科学与强化学习的对应关系。

本节配有交互动效（进入视口后自动加载，约 3KB）。

模式1：多巴胺RPE信号 意外奖赏→多巴胺激增 预测准确→误差为零 RPE = r + γV(s_next) - V(s) RPE对应多巴胺神经元放电。

奖赏回路基础

驯兽师带新手入场，第一堂课不是教动作，而是认识训练池：哨子挂在胸前，一桶鱼放在池边，训练板立在面前。这三样东西决定了海豚能不能学会任何把戏。大脑的奖赏回路，也有一套“训练三件套”。哨子对应中脑的腹侧被盖区（VTA）——它体积不大，却是多巴胺神经元的“老家”，一声令下，向全脑宣告“有好事发生”。鱼桶对应伏隔核（NAcc）——奖赏在这里汇聚、编码成动机。训练板则对应前额叶皮层（PFC）——它负责判断“该不该相信这条线索”，并把价值信号转化为行动决策。

这三块“器材”通过神经通路连成一个环：VTA 把多巴胺投射到伏隔核与前额叶，前额叶又反向调控 VTA。这个“多巴胺环路”被神经科学家视为奖赏处理的中央高速公路，也是强化学习中“智能体—环境”交互的神经版入口。

在强化学习的语境里，环境不断给出观测，奖赏函数把观测映射成一个标量数值，供系统比较与学习：

认识了训练池的布局，下一步就该观察那只会“预告”的哨子——多巴胺神经元。它如何把奖赏翻译成“惊喜”？这正是下一节的主题。

rt=ρ(ot)r_t = \rho(o_t)
这条公式说明：大脑并不直接拿到“幸福”，而是通过一个奖赏函数，把观测到的外界刺激换算成可计算、可比较的奖赏数值。这个数值就是后面一切学习信号的“原材料”。
  1. 观测 o_t当前时刻感知到的刺激，比如海豚看到红色浮标、听到哨声。
    ot=观测到的刺激to_t = \text{观测到的刺激}_t
  2. 奖赏函数 ρ大脑内置的“换算规则”，把刺激翻译成奖赏强度，鱼越大换算值越高。
    ρ(⋅)=刺激到奖赏的映射\rho(\cdot) = \text{刺激到奖赏的映射}
  3. 奖赏信号 r_t换算结果，进入学习系统的最终数值，是后续所有更新的源头。
    rt=ρ(ot)r_t = \rho(o_t)

多巴胺编码

训练进入第二周，驯兽师发现一个奇特的规律：海豚刚来第一天，看到鱼被抛来会兴奋得跃出水面；可训练一个月后，同样一条鱼，海豚只是淡定地张嘴。但如果哪次鱼迟到三秒，它反而会激动地拍水。显然，海豚的兴奋程度不取决于鱼的绝对大小，而取决于“鱼的到来有多意外”。

神经科学家在猴子身上用微电极记录多巴胺神经元，得到了同样的结论。多巴胺神经元平时以约 4 赫兹的频率“低吟”放电，当奖赏超过预期时突然爆发数十赫兹的高频放电——这被称为相位性放电。更关键的是，当奖赏低于预期时，多巴胺放电会跌到基线以下——不是“安静”，而是主动抑制。

所以多巴胺编码的是一个有正有负的信号：奖赏预测误差：

回到海豚：它兴奋的不是鱼，而是“意外”。多巴胺就是这场“意外”的信号灯。但这里还缺了关键一环——大脑如何利用这个“惊喜”去修正明天的预期？这就要请出 TD 学习算法了。

δt=Rt−R^t\delta_t = R_t - \hat{R}_t
这与“预期—实际”差异完全一致：实际奖赏超出预期，δ 为正，多巴胺爆发；低于预期，δ 为负，多巴胺被抑制。海豚激动的从来不是鱼，而是“没想到”。
  1. 实际奖赏 R_t这条鱼真的被扔进了池子，大小和时机都已成现实。
    Rt=实际奖赏值R_t = \text{实际奖赏值}
  2. 预期奖赏 \hat{R}_t海豚基于过往经验，在心里“计算”出该来的鱼有多大。
    R^t=预期奖赏值\hat{R}_t = \text{预期奖赏值}
  3. 预测误差 δ_t两者之差，构成多巴胺放电强度的直接指标。
    δt=Rt−R^t\delta_t = R_t - \hat{R}_t

TD学习算法

驯兽师发现，光靠“扔鱼—惊喜”还教不会海豚高难动作，因为鱼总是最后一刻才落水，海豚不知道中间哪个动作产生了作用。聪明的驯兽师改用“哨声”：哨声一响，海豚就知道“马上有鱼”，会先摆好姿势。哨声，就是“未来有鱼”的预告信号。

TD 学习的核心思想正是如此：每个状态（比如“听到哨声”）都有一个“价值估值” V(s)——海豚对这个状态“值多少鱼”的直觉。学习的每一刻，大脑都会把“刚拿到的奖赏 + 下一个状态的价值”当作对当前状态价值的新证据，用它跟自己原有的估值比较，差值就是 TD 误差。

驯兽师每次吹哨，都等价于一次“价值更新”：哨声状态的价值，在无数次鱼与期待的落差中，被一点点校准，直到海豚一听到哨声就确信鱼要来了。TD 学习，就是大脑用一次次的微小惊喜，修正着对世界的预期。

δt=rt+1+γV(st+1)−V(st),V(st)←V(st)+αδt\displaystyle \delta_t = r_{t+1} + \gamma V(s_{t+1}) - V(s_t), \qquad V(s_t) \leftarrow V(s_t) + \alpha \delta_t
第一式是“惊喜”的精确计算：当前奖赏加上打折的未来价值，减去当前期望。第二式是“用惊喜修正预期”：误差越大，修改幅度越大。这正是多巴胺在脑内做的事。
  1. 当前奖赏 r_{t+1}这一步实际收到的鱼。
    rt+1=当前奖赏值r_{t+1} = \text{当前奖赏值}
  2. 折扣因子 γ0 到 1 之间的数，表示未来价值的可信度，越远的未来越要打折。
    0≤γ<10 \le \gamma < 1
  3. 未来价值估计 V(s_{t+1})海豚对下一状态“值多少鱼”的直觉。
    V(st+1)=下一状态的估计价值V(s_{t+1}) = \text{下一状态的估计价值}
  4. 目标值 r + γV(s')大脑认为当前状态“应该值”这么多——眼前的鱼加打折的明天。
    rt+1+γV(st+1)=目标值r_{t+1} + \gamma V(s_{t+1}) = \text{目标值}
  5. TD误差 δ_t目标值与旧估算之差，也就是“惊喜”。
    δt=目标值−V(st)\delta_t = \text{目标值} - V(s_t)
  6. 学习率 α 与更新用 α 控制修正步长，一步步把 V(s_t) 拧向目标值。
    V(st)←V(st)+αδtV(s_t) \leftarrow V(s_t) + \alpha \delta_t

关键参数

同一套训练方法，有的海豚三天学会翻腾，有的要三周。驯兽师知道，差别不在鱼，而在“参数”。训练就像调音台，三个旋钮决定学习效果：学习率 α、折扣因子 γ、资格迹 λ。

学习率 α 决定了“一次惊喜能改多少预期”。α 太大，一次偶然的鱼就让海豚完全推翻旧认知，经验系统动荡；α 太小，海豚教了十遍还是学不会。折扣因子 γ 决定了海豚对“遥远的鱼”的耐心：γ 接近 0 只认眼前，γ 接近 1 愿意为远期大奖等待。

从“眼前到未来”，可以把所有未来的鱼折算成今天的一个总价值，这就是累积折扣回报：

除了这两个旋钮，还有一盏“探照灯”——资格迹，它负责回答“刚才哪个动作该记功”。这三个旋钮调好了，海豚就是“学霸”；调错了，再勤快的驯兽师也白搭。

Gt=∑k=0∞γkrt+k+1G_t = \sum_{k=0}^{\infty} \gamma^k r_{t+k+1}
意思是：从当前时刻出发，未来每一步的奖赏都按 γ 的指数衰减叠加起来。γ 越接近 1，远期收益越重要——海豚越“有远见”。
  1. 求和符号 Σ从 k=0 到无穷，把未来每一步的奖赏全部相加。
    ∑k=0∞\sum_{k=0}^{\infty}
  2. 折扣系数 γ^kγ 连乘 k 次，第 k 步之后的奖赏被衰减 k 次，越远越小。
    γk=γ×γ×⋯×γ⏟k 次\gamma^k = \underbrace{\gamma \times \gamma \times \cdots \times \gamma}_{k\text{ 次}}
  3. 未来奖赏 r_{t+k+1}第 k 步之后那一刻得到的鱼。
    rt+k+1=第 k 步后的奖赏r_{t+k+1} = \text{第 } k \text{ 步后的奖赏}
  4. 累积回报 G_t所有打折后的鱼的总和，代表当前状态的“长期幸福预期”。
    Gt=rt+1+γrt+2+γ2rt+3+⋯G_t = r_{t+1} + \gamma r_{t+2} + \gamma^2 r_{t+3} + \cdots

时间信度分配

真正的难题来了：海豚先翻腾，又摆尾，两秒后才等来鱼。这条鱼该记在谁的功劳簿上？如果是翻腾带来的，那摆尾岂不是白做了？如果都记，会不会重复奖励？大脑用一盏“标记灯”解决这个问题——资格迹。

资格迹的思路很朴素：每个状态都有一本“临时账”，每当访问某状态，就给它的账上加一笔；随着时间推移，所有账上的“责任”按 γλ 逐渐衰减；最后奖赏落下时，谁账上的责任还亮着，谁就分享这次更新。这解决了延迟奖赏下的信度分配问题。

于是，遥远的那条鱼能顺着“责任账本”一路反推，把功劳分给真正该记功的那次翻腾。在条件反射实验中，这种“责任移迁”甚至能让多巴胺的放电从奖赏本身，一路逆流到最早的线索——这正是下一节要讲的脑机对应铁证。

et(s)=γλet−1(s)+1(s=st),V(s)←V(s)+αδtet(s)\displaystyle e_t(s) = \gamma \lambda e_{t-1}(s) + \mathbf{1}(s = s_t), \qquad V(s) \leftarrow V(s) + \alpha \delta_t e_t(s)
每个状态的“责任值”随时间指数衰减，每当它被再次访问，责任被重新“点亮”。奖赏到来时，TD 误差（多巴胺）配合资格迹共同更新价值：责任越亮，改得越多。
  1. 资格迹 e_t(s)状态 s 在 t 时刻的“责任账本”数值。
    et(s)=状态 s 的责任值e_t(s) = \text{状态 } s \text{ 的责任值}
  2. 衰减因子 γλ每过一步，旧责任打一次折；λ 越接近 1，记忆越长。
    γλet−1(s)=衰减后的旧账\gamma \lambda e_{t-1}(s) = \text{衰减后的旧账}
  3. 指示函数 1(s=s_t)当前访问到状态 s 时取 1，否则取 0——“此刻点亮这盏灯”。
    1(s=st)={1,s=st0,s≠st\mathbf{1}(s = s_t) = \begin{cases} 1, & s = s_t \\ 0, & s \neq s_t \end{cases}
  4. 带资格迹的更新误差 δ 乘以“责任值” e，只有责任还亮着的状态才被大改。
    V(s)←V(s)+αδtet(s)V(s) \leftarrow V(s) + \alpha \delta_t e_t(s)

脑机对应验证

1997 年，神经科学家 Wolfram Schultz 做了一个载入史册的猴子实验。猴子坐在椅子上，眼前有个灯泡，灯亮一秒后，一滴果汁自动滴入口中。微电极记录 VTA 多巴胺神经元的放电，故事分四个阶段展开。

第一阶段（灯是无意义的灯）：灯亮没反应，果汁来——多巴胺大爆发。第二阶段（开始建立联系）：灯亮有微弱放电，果汁来也有反应。第三阶段（完全学会）：灯亮——大爆发，果汁来——毫无反应！第四阶段（撤掉果汁）：灯亮大爆发，但本该有果汁的时刻——多巴胺断崖式跌到基线以下。

把放电率和 TD 误差放在一起对比，二者惊人吻合。这意味着大脑的多巴胺神经元，就是在实时计算 TD 误差：

猴子实验讲完，驯兽师的故事算是拼图完整：哨声成为“条件刺激”，多巴胺的账本从“奖赏时刻”一路挪到“线索时刻”，连奖赏缺失的失落也被忠实记录。这就是大脑运行 TD 算法的直接证据。既然大脑用了这套算法，工程师自然可以反向借鉴。

放电率t≈β⋅δt+b\text{放电率}_t \approx \beta \cdot \delta_t + b
神经元不需要“背公式”，却忠实地执行了公式。这是神经科学与强化学习最著名的一次“对账”：多巴胺放电曲线与 TD 误差曲线在时间上几乎完全重合。
  1. 放电率多巴胺神经元每秒发出的脉冲数，相当于“惊喜”的生物读数。
    放电率t=神经元每秒脉冲数\text{放电率}_t = \text{神经元每秒脉冲数}
  2. TD误差 δ_t理论上该时刻的预测误差，由奖赏、折扣与价值估计算出。
    δt=rt+1+γV(st+1)−V(st)\delta_t = r_{t+1} + \gamma V(s_{t+1}) - V(s_t)
  3. 缩放系数 β放电率与误差之间的换算比例，“多巴胺尺度上的误差”。
    β=神经信号的放大倍数\beta = \text{神经信号的放大倍数}
  4. 基线 b无惊喜时的背景放电率，误差为零时放电率仍有 b。
    b=基线放电率b = \text{基线放电率}

工程应用

掌握了驯兽秘籍，你就能开公司了。第一门生意：帮机器人设计奖赏。许多强化学习项目卡在“稀疏奖赏”——机械臂转一百圈也碰不到一次成功，拿不到任何反馈，就像海豚永远不知道鱼在哪里。这时，借鉴多巴胺的“塑形奖赏”可以出手：给每个“离目标更近一步”的状态一个过程奖赏，让 TD 误差像心跳一样持续跳动。

第二门生意：理解上瘾。毒品难以戒断，是因为它直接劫持多巴胺系统，让“预测误差”连续爆表——相当于海豚自己按下了哨子按钮，鱼还没来，惊喜已经拉满。第三门生意：帕金森症。患者多巴胺神经元大量死亡，TD 误差信号丧失，动作选择失灵——这提示我们可以用“补偿 TD 信号”的思路设计脑深部电刺激方案。

在 AI 决策端，学习的终点是策略：每个状态下选最优动作。最优策略由最能带来长期价值的动作决定：

从驯兽池到 AI 公司，从海豚的哨声到机械臂的抓取，多巴胺和 TD 学习的对应关系让我们看到：亿万年进化的生物大脑，和几行代码写出的数学算法，原来在讲同一个故事——用惊喜修正预期，用预期指导行动。而你的 AI，也因这本“惊喜账本”而更聪明。

π∗(s)=arg⁡max⁡aQ∗(s,a)\pi^*(s) = \arg\max_a Q^*(s,a)
这是强化学习的“决策总则”：面对任何状态，只要计算每个动作的长期价值，选价值最大的那个，就是最优决策。动物大脑通过多巴胺完成的，正是这种价值导向的选择。
  1. 策略 π从状态到动作的映射规则——海豚在状态 s 下该做哪个动作。
    π(s)=状态下选择的动作\pi(s) = \text{状态下选择的动作}
  2. 动作价值 Q^*(s,a)在状态 s 执行动作 a 后，长期折扣回报的期望——“这一跳值多少鱼”。
    Q∗(s,a)=动作的长期价值Q^*(s,a) = \text{动作的长期价值}
  3. argmax 运算在所有可选动作里，挑出价值最大的那个。
    arg⁡max⁡a\arg\max_a
  4. 最优策略 π^*每步都选最大价值动作，组合起来就是全局最优策略。
    π∗(s)=arg⁡max⁡aQ∗(s,a)\pi^*(s) = \arg\max_a Q^*(s,a)

AI 应用场景

机器人抓取的“塑形奖赏”设计

阶段：强化学习模型训练

解决的问题：机械臂抓取是典型的稀疏奖赏环境——只有抓取成功才得 1 分，失败一律 0 分，新手策略在探索早期几乎得不到任何非零反馈，如同新手驯兽师一直不给鱼、海豚永远不知道什么动作是对的。多巴胺实验表明，有效学习依赖持续存在的预测误差，因此需要把“最终奖赏”拆成一个个“过程惊喜”。

具体案例：某仓储机器人团队训练抓取策略时，把“夹爪与目标距离缩短”“目标姿态对齐”作为塑形奖赏叠加到环境中，TD 误差从“每 1000 步才出现一次”变成“每一步都在跳动”，训练收敛速度提升近 5 倍。

成瘾复发风险的TD建模

阶段：医疗数据分析与预测建模

解决的问题：毒品为何让多巴胺系统“瘫痪”？传统评估靠问卷，主观且滞后。多巴胺=TD误差的视角提供了可量化的工具：成瘾者的“奖赏预测”失衡，表现为对线索的过度反应与对奖赏缺失的钝感。

具体案例：某精神卫生中心让康复期患者完成双选择赌博任务，用 Q-learning（TD 家族算法）拟合逐轮选择数据，估计出每个患者的个体学习率 α 与预测误差序列，将“δ 序列异常波动”作为特征输入预警模型，对 6 个月内复吸风险的预测 AUC 达到 0.82。

多巴胺调制的脉冲神经网络

阶段：类脑模型设计与推理部署

解决的问题：传统深度强化学习模型动辄千万参数，端侧设备无法实时运行。大脑用多巴胺信号全局调制突触可塑性的方式，为轻量在线学习提供了天然的模板。

具体案例：某类脑芯片团队设计了“多巴胺调制 STDP”机制：把 TD 误差映射为全局多巴胺浓度，浓度高时加速脉冲神经元突触权重更新，浓度低时收敛。在 FPGA 无人机避障原型上，端侧能耗仅为主流 CNN 方案的 1/10。

Python 演示

python39 行
"""用 TD(0) 模拟多巴胺奖赏预测误差信号的经典条件反射实验""" import numpy as np  class DopamineTD:    """多巴胺预测误差代理: 输入状态转移, 输出 TD 误差(多巴胺信号)"""     def __init__(self, n_states=2, alpha=0.4, gamma=0.9):        self.V = np.zeros(n_states)   # 状态价值估计        self.alpha = alpha            # 学习率        self.gamma = gamma            # 折扣因子     def update(self, state, reward, next_state):        """执行一步 TD(0) 更新, 返回预测误差 delta"""        if next_state < 0:            target = reward        else:            target = reward + self.gamma * self.V[next_state]        delta = target - self.V[state]        self.V[state] += self.alpha * delta        return delta  def run_experiment():    """条件反射流程: 线索(状态0) -> 等待(状态1) -> 奖赏(结束)"""    agent = DopamineTD()    print("轮次 | V(线索) | V(等待) | delta(线索) | delta(奖赏)")    print("-" * 56)    for ep in range(1, 21):        delta_cue = agent.update(0, 0.0, 1)     # 线索出现, 无奖赏, 转入等待        delta_rew = agent.update(1, 1.0, -1)    # 奖赏到达, 过程结束        if ep in (1, 2, 3, 5, 8, 12, 16, 20):            print("%3d | %7.3f | %7.3f | %+8.3f | %+9.3f"                  % (ep, agent.V[0], agent.V[1], delta_cue, delta_rew))  if __name__ == "__main__":    run_experiment()
目的：用 TD(0) 模拟条件反射中多巴胺预测误差从“奖赏时刻”转移到“线索时刻”的过程，输出每轮的价值估计与 TD 误差。
  1. target = reward + self.gamma * self.V[next_state]TD 的“自举”目标：当前奖赏加上打折的后续价值，不等待最终结果。
  2. delta = target - self.V[state]预测误差（多巴胺信号）：新证据与旧估计之差，正是“惊喜”的数学生物学双关。
  3. self.V[state] += self.alpha * delta用误差修正价值估计，相当于突触权重被多巴胺调节。
  4. delta_cue = agent.update(0, 0.0, 1)线索状态转移：没有即时奖赏，却因“等待状态价值上升”而逐渐获得正误差。
  5. delta_rew = agent.update(1, 1.0, -1)奖赏到达、过程结束：早期误差大，随学习逐步衰减到零。

常见误区

误区“多巴胺就是大脑的快乐源泉，分泌越多越开心。打游戏、吃甜食时多巴胺飙升，所以戒不掉是因为快乐上瘾。”

正解多巴胺编码的是奖赏预测误差，而不是快乐本身。当奖赏完全可预测（比如每天下午三点准时收到下午茶），多巴胺几乎不放电；真正让多巴胺飙升的是“超出预期的奖赏”。快乐是“得到”的情绪，多巴胺是“意外得到”的信号。海豚兴奋于“没想到的鱼”，而不是“每天都有的鱼”。

为何常见：大众媒体把多巴胺简化成“快乐分子”，加上愉悦体验确实伴随多巴胺升高，容易把相关性当成因果性。

误区“给猴子一整桶果汁，肯定比一滴果汁引发更强的多巴胺放电。”

正解决定放电强度的是“实际奖赏 − 预期奖赏”的差值。如果已经预期一大桶，结果只来一滴，多巴胺反而会低于基线；如果预期一滴、来了一滴，多巴胺几乎无反应。多巴胺神经元是“预期差”的鉴定师，不是“奖赏大小”的秤。

为何常见：直觉上“好的东西引起强反应”很自然，但忽略了大脑预测模型的存在——实际上大脑无时无刻不在做预测。

误区“TD 学习是不是像下完一盘棋才知道胜负，然后回顾所有步骤慢慢算？”

正解TD 学习的精髓是“自举”：不等待最终结果，每走一步就用“当前奖赏 + 下一步状态的估值”作为目标，立即更新当前价值。就像海豚每次哨声响起都立刻修正“哨声=有鱼”的信念，而不是等整场表演结束才给评价。这也是 TD 与蒙特卡洛方法的本质区别。

为何常见：日常学习经验常常是“期末考完才知道学得如何”，容易把“反馈滞后”当成普遍规律；而大脑在线的价值更新机制并不直观。

误区“多巴胺只管好事，奖赏没来最多就是没有信号，多巴胺神经元保持沉默。”

正解当奖赏低于预期，多巴胺神经元不是沉默，而是放电率显著低于基线——一个主动的抑制信号。猴子实验中，灯亮却无果汁时，多巴胺在预期奖赏时刻出现“凹陷”，凹陷深度与 TD 误差的负值成正比。大脑用同一个通道编码好消息和坏消息，只是方向相反。

为何常见：“沉默=无反应”的直觉忽略了神经元基线放电的存在；实际上低于基线的抑制本身就是信息。

面试题

Q1. 多巴胺神经元最主要的编码对象是？

单选题 · easy

  • A.奖赏的绝对大小
  • B.奖赏预测误差← 正确答案
  • C.惩罚的绝对大小
  • D.刺激的物理强度

答案：B。多巴胺编码的是“实际奖赏与预期奖赏之差”，即奖赏预测误差。它不关心奖赏绝对大小，而是关心“惊喜程度”，如同海豚兴奋于“没想到的鱼”而非鱼的个头。C、D 都是干扰项，多巴胺不直接编码惩罚或物理强度。

Q2. TD误差 δ_t 的数学定义是？

单选题 · mid

  • A.奖赏加折扣未来减当前估计← 正确答案
  • B.奖赏减去当前状态的估计值
  • C.折扣未来值加当前的估计值
  • D.当前将三部分简单相加求和

答案：A。δ_t = r + γV(s') − V(s)。“奖赏 + 折扣的未来价值”是大脑对当前价值的“新证据”，减去旧估计就是“惊喜”。B 缺了未来项，C 缺了奖赏和减法，D 完全错误。

Q3. 条件反射完全建立后，多巴胺对奖赏的反应会？

单选题 · mid

  • A.变得越来越强烈
  • B.转移到线索刺激← 正确答案
  • C.完全消失不见
  • D.保持原有强度

答案：B。学会之后，奖赏完全可预测，多巴胺不再对奖赏本身放电，而改到最早预告奖赏的线索（条件刺激）出现时放电。正如猴子实验中灯亮触发爆发、果汁来却无反应。

Q4. 当预期奖赏未出现时，多巴胺神经元会？

单选题 · hard

  • A.强烈兴奋持续放电
  • B.保持原有基线不变
  • C.活动降低于基线水平← 正确答案
  • D.转而编码惩罚刺激

答案：C。奖赏遗漏时，多巴胺放电会主动低于基线，形成“凹陷”，对应负的 TD 误差。这不是沉默，而是一个主动的负信号，与正误差的爆发在幅度上对称。D 错误，多巴胺不直接“改行”编码惩罚。

Q5. 学习率 α 过大会导致？

单选题 · easy

  • A.收敛更快且更稳定
  • B.产生振荡甚至发散← 正确答案
  • C.导致完全无法学习
  • D.无条件收敛到最优

答案：B。α 过大时，一次偶然的预测误差就会大幅改写价值估计，系统容易在目标值附近振荡甚至发散。驯兽师若因一次意外就彻底改变预期，海豚也会无所适从。α 过小过慢，过大不稳。

Q6. 折扣因子 γ 越接近 1，表示智能体？

单选题 · mid

  • A.只关心当前奖赏值
  • B.完全忽视未来回报
  • C.重视远期奖赏收益← 正确答案
  • D.取消所有折扣设置

答案：C。γ 接近 1 意味着未来回报被折扣得很少，智能体会为远期收益做长远规划，如同海豚愿意“先苦练三周，之后天天有鱼”。γ 接近 0 则只顾眼前。γ 永远小于 1，D 不成立。

Q7. 以下哪些属于奖赏回路核心结构？

多选题 · mid

  • A.腹侧被盖区多巴胺核团← 正确答案
  • B.伏隔核奖赏处理中心← 正确答案
  • C.海马体记忆存储区
  • D.前额叶决策整合区← 正确答案

答案：ABD。VTA、伏隔核与前额叶构成经典奖赏回路：VTA 合成并投射多巴胺，伏隔核处理奖赏信号，前额叶整合决策。海马体主要参与记忆，虽与奖赏有互动，但不属于奖赏回路的核心结构。

Q8. 关于资格迹的说法正确的有？

多选题 · hard

  • A.解决延迟奖赏的信度分配← 正确答案
  • B.只影响当前状态的权重
  • C.保存历史状态的责任记录← 正确答案
  • D.完全等效于增加学习率

答案：AC。资格迹用衰减的“责任账本”记录历史状态，让延迟到来的奖赏能回溯分配给真正相关的状态，A、C 正确。B 错误——它恰恰为了让“早期状态”也能被更新；D 错误，它改变的是信度分配而不是全局步长。

Q9. 猴子实验中支持“多巴胺≈TD误差”的证据包括？

多选题 · mid

  • A.放电符合预测误差曲线← 正确答案
  • B.奖赏遗漏时低于基线← 正确答案
  • C.学习后转向线索响应← 正确答案
  • D.从不参与负向信号

答案：ABC。多巴胺放电时序与 TD 误差曲线高度吻合，奖赏遗漏时出现凹陷，学习后放电从奖赏转移到线索，这些都是“预测误差编码”的标志。D 与事实相反，多巴胺同样编码负向误差。

Q10. 稀疏奖赏环境下加快强化学习常用？

单选题 · easy

  • A.把折扣因子提高到十倍
  • B.设计塑形奖赏加以引导← 正确答案
  • C.屏蔽所有中间反馈
  • D.移除学习率参数设置

答案：B。塑形奖赏为中间状态提供过程反馈，让 TD 误差持续活跃，类似驯兽师用哨声把“未来有鱼”提前播报。A 中折扣因子必须小于 1，C、D 只会让学习更慢或失效。