强化学习工程：奖励函数设计Reward Shaping

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

奖励函数基础

想象你是冒险者公会的绩效官，需要为每位冒险者制定“任务赏金表”：完成什么动作、达成什么成就，就能得到相应的金币。这份赏金表决定了冒险者的行为倾向——他会努力寻找“来钱快”的路径，也会因为某些动作扣钱而绕开致命陷阱。在强化学习中，这张“赏金表”就是奖励函数 \(r(s,a)\)，它告诉智能体：在当前状态 \(s\) 下采取动作 \(a\)，环境会给出多少数值奖励。这个标量信号，是智能体感知“好坏”的唯一来源，就像冒险者感知“值不值得做”的唯一依据。

单纯看单次奖励是不够的。冒险者公会真正看重的是冒险者整个旅程积累的财富，而不是某一瞬间捡到的铜板。智能体的目标同样如此：最大化长期累积回报。这引出了强化学习的核心式——回报累积机制：

如果绩效官只考核今天的产出，冒险者就会只顾眼前；反之，如果赏金表按“季度总贡献”发钱，冒险者就会为长远目标做规划。奖励函数的设计，决定了智能体是一只“近视的兔子”还是一个“远谋的猎人”。

稀疏奖励困境

你已经意识到，冒险者需要长期的追求。于是你把任务设定成：“只有抵达深渊尽头的宝藏，奖励 1000 金币。”听起来很诱人，但问题接踵而至：冒险者站在起点，四处全是岔路，他随机尝试了几百步，连奖励的影子都摸不着。没有人愿意为一个“永远够不到”的目标耗下去——强化学习的智能体同样如此，这就是“稀疏奖励困境”。

当奖励信号极少出现时，智能体的探索近似于盲人摸象。每走一步都可能得到零奖励，Q 值表难以被有效更新，策略几乎停滞在随机水平。数学上可以这样理解：如果每一步碰到奖励的概率是 \(p\)，那么经过 \(N\) 步至少拿到一次奖励的概率是：

这就像只给员工画“年底分红”的大饼，却不提供任何月度反馈，绝大多数人会在看不到希望的中途放弃。稀疏奖励下，智能体不仅学得慢，还可能因偶然的一次正反馈而固守错误路线。要让冒险者愿意踏上旅途，绩效官必须在路上放一些“小甜头”。

势能塑形原理

既然大型目标太遥远，聪明的绩效官会沿路插满小旗子：“你距离终点更近了一步，奖励 1 金币。”旗子只提示方向，不改变宝藏本身的位置。在强化学习里，这种“沿途加激励”的做法叫做奖励塑形。1999 年 Ng 等人给出了一个优雅的理论保证：只要塑形奖励来自一个势能函数的折扣差分，就不会改变原问题的最优策略。

设 \(\Phi(s)\) 是状态 \(s\) 的“势能”，它度量“当前状态距离目标有多近”。塑形函数定义为：

插旗子并不会让冒险者更想“换宝藏”，只会让他更快地找到宝藏。势能塑形正是利用了这种“临时代币”设计：既给出即时反馈，又通过理论保证不误导智能体偏离真实目标。工程上，我们经常用“到目标的负距离”作为势能，简单而有效。

奖励设计原则

冒险者公会的赏金表不能只写“找到宝藏”，还要考虑任务中途的方方面面。现实中，奖励函数设计师面对的是多维诉求：既要速度快，又要资源消耗少，还要保证安全。如果这些诉求互相打架，冒险者就会精神分裂。于是，三大原则浮出水面：信号密度要足够、目标要与真实意图对齐、多目标要合理加权。

工程中最常用的“组合拳”是把多个子目标的奖励线性叠加。比如设 \(r_{\text{main}}\) 是核心目标（抵达终点），\(r_{\text{guide}}\) 是引导项（接近终点），\(r_{\text{cost}}\) 是代价惩罚（耗电或危险）。总奖励写成：

好的 KPI 体系意味着各指标互不矛盾、主次分明。奖励设计同理：一旦主目标权重过低，智能体可能沉迷于“捡芝麻”而丢了“西瓜”。绩效官的天平两端，放的是长期价值与短期引导。

奖励黑客防御

公会里出现了一个“聪明”的冒险者，他发现在训练场撞开木箱可以获得“探索度 +10”奖励，于是原地反复撞箱刷分，收益轻松超过老老实实做任务的老实人。你这才意识到：你设计的 KPI 被钻了空子。在强化学习中，这被称为“奖励黑客”或“规范博弈”——智能体发现了环境中的漏洞，用最低成本刷高了代理奖励，却没有达成真正的目标。

这种情况的本质是代理目标与真实目标失配。我们训练时优化的 \(J_{\text{proxy}}\) 与业务真实的 \(J_{\text{true}}\) 之间出现了偏差：

防御奖励黑客的手段，与绩效官防止员工刷 KPI 如出一辙：定期回放行为录像（对抗性测试），检查智能体的轨迹是否合理；重新用“真实目标口径”离线评估模型；对可疑动作加约束惩罚。在工程中，“防刷分”与“定规则”同等重要。

调参策略

把一个毫无经验的新人直接丢进深渊迷宫，他只会崩溃。绩效官的做法是循序渐进：先安排“入门迷宫”（路径短、奖励密），等他练出基本方向感，再逐步过渡到更复杂的迷宫，最后才挑战真正的深渊。强化学习中的课程学习正是如此，难度与奖励结构随训练阶段逐步演进。

课程学习中，奖励可以按阶段动态插值，其形式为：

与课程学习配套的还有奖励缩放（乘一个常数调整学习步长）和渐进硬化（逐步降低引导奖励占比）。合在一起，它们像一位严慈相济的教练：先给学生搭好台阶，再悄悄撤掉扶手，直到他们能独立奔跑。

工程实践评估

绩效官不能只听冒险者的自吹自擂，需要看后台数据：训练日志里每轮回报是升是降？回放录像里行为是否偏离预期？新旧两版赏金表哪个更能调动积极性？强化学习的工程落地的关键，就是建立一套完整的评估体系来回答这些问题。

在离线评估中，工程师常常计算累计回报的置信区间，来衡量奖励设计效果的可靠程度：

线上实践则用 A/B 测试来验证新奖励版本是否真的优于旧版：一部分流量用旧奖励，一部分用新奖励，对比真实业务指标。奖励设计的迭代本质是“设计—实验—观测—再设计”的闭环，只有数据才能真正证明 KPI 设计的好与坏。

高级塑形技巧

高阶绩效官的眼界不止于单一赏金表，他们会组合各种激励工具：在里程碑设“阶段成就奖”、把长期目标拆成子目标、为创意行为提供“额外探索奖金”。这些思路对应强化学习中的高级塑形技巧：辅助奖励注入、目标条件引导和熵正则平衡。

辅助奖励可以来自人类先验或预训练模型，目标条件引导则让奖励随任务目标变化，而熵正则化通过鼓励策略“保持随机性”来防止过早收敛。其目标函数常写成：

一个优秀的奖励设计师，就像一位调制鸡尾酒的调酒师：主料是真实目标，辅料是引导信号，装饰是适度的随机性。三者相辅相成，最终酿出的策略既高效又稳健，这才是高级塑形技巧的真正魅力所在。

AI 应用场景

Python 演示

import random  class GridWorld:    """8x8网格世界：0空地, 1墙, S起点, G终点"""     def __init__(self, size=8):        self.size = size        self.walls = {(2, 2), (3, 2), (4, 2), (2, 5), (3, 5), (4, 5)}        self.start = (0, 0)        self.goal = (7, 7)        self.actions = [(0, 1), (0, -1), (1, 0), (-1, 0)]     def step(self, state, action):        """根据动作转移状态，返回新状态和是否到达终点"""        x = state[0] + action[0]        y = state[1] + action[1]        if (x, y) not in self.walls and 0 <= x < self.size and 0 <= y < self.size:            next_state = (x, y)        else:            next_state = state        done = (next_state == self.goal)        return next_state, done  def potential(state):    """势能函数：到终点的负曼哈顿距离"""    return -abs(state[0] - 7) - abs(state[1] - 7)  def make_reward(env, kind):    """根据类型返回奖励函数"""    if kind == "sparse":        def reward(state, action, next_state, done):            return 1.0 if done else 0.0    elif kind == "dense":        def reward(state, action, next_state, done):            return 1.0 if done else -0.01    elif kind == "shaped":        def reward(state, action, next_state, done):            if done:                return 1.0            return potential(next_state) - potential(state)    return reward  def q_learning(env, reward_fn, episodes=500, lr=0.1, gamma=0.95, eps=0.2):    """标准Q-learning训练，返回每轮总奖励列表"""    q = {}    total_rewards = []    for _ in range(episodes):        state = env.start        done = False        total = 0.0        while not done:            if state not in q:                q[state] = [0.0] * len(env.actions)            if random.random() < eps:                action_idx = random.randrange(len(env.actions))            else:                action_idx = max(                    range(len(q[state])),                    key=lambda i: q[state][i]                )            next_state, done = env.step(state, env.actions[action_idx])            r = reward_fn(state, env.actions[action_idx], next_state, done)            if next_state not in q:                q[next_state] = [0.0] * len(env.actions)            best_next = max(q[next_state])            q[state][action_idx] += lr * (r + gamma * best_next - q[state][action_idx])            state = next_state            total += r        total_rewards.append(total)    return total_rewards  def main():    env = GridWorld()    for kind in ("sparse", "dense", "shaped"):        reward_fn = make_reward(env, kind)        scores = q_learning(env, reward_fn)        avg = sum(scores[-100:]) / 100        print(kind + ": avg of last 100 episodes = {:.2f}".format(avg))  if __name__ == "__main__":    main()

1. if (x, y) not in self.walls and 0 <= x < self.size and 0 <= y < self.size:检查目标位置是否合法，撞墙则原地不动，这是环境规则的基础。
2. return -abs(state[0] - 7) - abs(state[1] - 7)势能函数取“到终点的负曼哈顿距离”，越靠近终点势能越高。
3. return potential(next_state) - potential(state)塑形奖励正是势能差 \(F(s,s')\)，模拟“翻过山坡的小奖励”。
4. q[state][action_idx] += lr * (r + gamma * best_next - q[state][action_idx])Q-learning 的标准更新公式，利用折现的未来最优估计与当前误差修正。
5. for kind in ("sparse", "dense", "shaped"):依次跑三种奖励策略，输出各自的最后 100 轮平均回报，方便对比。

常见误区

面试题