逆向强化学习：从示范中推断奖励函数

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

问题动机：为什么人工设计奖励这么难

小蔡第一次进后厨，看见老周做“荷香鸭”：先给鸭皮抹糖色，再塞荷叶入腹，最后用文火慢慢煨。小蔡问：“师傅，菜谱能给我看看吗？”老周摆摆手：“菜谱只是骨架，糖放多少凭手感，火候看颜色，什么时候翻面听声音——这些写不出来。”小蔡愣住了：如果连手里有一本菜谱的人都说不清关键步骤，那学习这道菜还能靠什么？

这个故事映射到强化学习里，就是“奖励设计困境”。强化学习的核心是奖励函数——它告诉智能体什么行为好、什么行为差。但在真实任务中，比如让机器人整理房间、让自动驾驶汽车平稳变道，工程师很难用数学公式精确写出“什么叫整理得好”“什么叫开得舒服”。一个看似合理的奖励函数，往往在边界条件下翻车。比如清扫机器人，如果奖励只惩罚“撞到障碍物”，它可能学会原地不动来避免碰撞；如果奖励“清扫面积”，它可能把垃圾藏到地毯下面虚报成绩——这就是业内常说的“奖励黑客”（reward hacking）。

既然写奖励这么难，那能不能绕开它直接学行为？这就是模仿学习（imitation learning）的思路：用行为克隆（behavior cloning）把专家示范直接拟合成“状态到动作”的映射。但行为克隆有个致命弱点——它只学到了“在见过的状态下该做什么动作”，一旦遇到数据分布外的状态，就会像背了台词却忘了逻辑的演员一样崩溃。而且它永远学不到动作背后的“原因”。

小蔡想明白了：与其死记硬背师傅的动作，不如搞清楚师傅做菜时脑子里在“优化什么”。那个看不见的“配方”，才是这道菜真正的灵魂。同理，与其手写奖励，不如从专家的示范中把奖励“反推”出来——这正是逆向强化学习的出发点。

核心思想：从行为反推意图

小蔡开始仔细观察老周的动作模式。他发现老周总是先处理鸭子，再调酱料，最后开火。为什么是这个顺序？因为腌制时间的权重在师傅的目标函数里最高。这个顺序不是随意的，而是在优化某个看不见的目标。小蔡恍然大悟：每一个动作都是“因为”，他要做的，是从这些“因为”中把“所以”倒推出来。

逆向强化学习（Inverse Reinforcement Learning，简称 IRL）的核心思想正是如此：给定一组专家的行为示范（状态-动作轨迹），推断出能够解释这些行为的奖励函数。这里有一个关键的假设——专家是在最大化某个未知的累计奖励。IRL 不需要直接回答“应该做什么动作”，而是回答“专家在最大化什么目标”。

形式化地说，假设专家策略 $\pi_{E}$ 的最优性来自一个未知奖励函数 $R^{*}(s, a)$。IRL 要求解的优化问题是：

$$\displaystyle R^{*} = \arg\max_{R \in \mathcal{R}} \mathbb{E}_{\tau \sim \pi_{E}}\left[\log P(\tau \mid R)\right]$$

1. 最优奖励 $R^{*}$：IRL 的最终输出是一份奖励函数而不是策略，这是它与行为克隆的本质区别——得到的“配方”本身，而不是模仿做菜的每个手势。

$$R^{*}$$

2. 候选范围 $\mathcal{R}$：右下角的 $\mathcal{R}$ 表示我们只在预设的候选奖励函数集合里搜索，比如线性函数族或神经网络函数族，避免漫无边际地乱找。

$$\arg\max_{R \in \mathcal{R}}$$

3. 专家期望：对专家策略 $\pi_{E}$ 生成的轨迹取平均，意思是“专家常走的轨迹要受到奖励函数的青睐”。

$$\mathbb{E}_{\tau \sim \pi_{E}}$$

4. 对数概率：奖励越好，示范轨迹在该奖励函数下出现的概率越高；取对数便于后续求导与多轨迹累乘转累加。

$$\log P(\tau \mid R)$$

小蔡把这个思路记在本子上：“师傅的每一个动作都是'因为'，我要做的，是从这些'因为'中把'所以'倒推出来。” 他意识到，一旦反推出那份“配方”，他就能举一反三，而不是只会照着师傅的动作做一个“人形复读机”。

数学原理：轨迹的概率建模

小蔡又发现，老周做菜并不是每一步都一模一样——有时多放了半勺盐，有时火候差了那么几秒。他心想：“师傅也有手抖的时候，但整体方向是稳定的。这说明每个步骤背后其实藏着一个概率分布。” 是的，人类专家的示范天然带着随机性和噪声，IRL 必须为这种随机性建立数学模型。

最常用的假设是带玻尔兹曼分布的形式：一条轨迹 $\tau$ 被专家选中的概率，正比于这条轨迹总奖励的指数。令 $\theta$ 为奖励参数，$R_{\theta}(\tau)=\sum_{t}\gamma^{t}\hat{R}_{\theta}(s_t,a_t)$ 表示轨迹总奖励，则：

$$\displaystyle P(\tau \mid \theta) = \frac{\exp\left(R_{\theta}(\tau)\right)}{\sum_{\tau'} \exp\left(R_{\theta}(\tau')\right)}$$

1. 轨迹概率：在奖励 $R_{\theta}$ 下，轨迹 $\tau$ 被选中的概率，等于它的“好程度”在所有可能轨迹中的占比——好菜被端上桌的概率自然更高。

$$\frac{\exp\left(R_{\theta}(\tau)\right)}{\sum_{\tau'} \exp\left(R_{\theta}(\tau')\right)}$$

2. 指数评分：$\exp$ 将任意实数奖励映射成正权重，奖励越高的轨迹概率呈指数级上升。

$$\exp\left(R_{\theta}(\tau)\right)$$

3. 归一化分母：分母遍历所有可能轨迹求和，保证所有轨迹的概率加起来等于 1，就像把每道菜的“得分”除以整桌菜的总分。

$$\sum_{\tau'} \exp\left(R_{\theta}(\tau')\right)$$

我们希望找到参数 $\theta$，让专家示范轨迹的总体似然最大。这对应最大熵 IRL（MaxEnt IRL）的优化目标：

$$\displaystyle \theta^{*} = \arg\max_{\theta} \sum_{i=1}^{N} \log P\left(\tau^{(i)} \mid \theta\right)$$

1. 最优参数 $\theta^{*}$：目标是找到让示范数据“看起来最自然”的那份配方参数。

$$\theta^{*}$$

2. 累加对数似然：把所有专家示范轨迹的对数概率加起来，衡量整套示范在配方 $\theta$ 下有多合理；取对数让连乘变成连加，数值更稳定。

$$\sum_{i=1}^{N} \log P\left(\tau^{(i)} \mid \theta\right)$$

3. 最大化目标：$arg\max$ 表示调整 $\theta$，使上述累加值最大——即“这份配方最配得上师傅的示范动作”。

$$\arg\max_{\theta}$$

“原来师傅做菜不是一道确定性流程，而是一套概率倾向！”小蔡在本子上画下结论：学配方的过程，就是调整这个概率分布，让它最接近师傅做出的一盘盘荷香鸭。

经典算法：学徒学习与特征匹配

小蔡试了一个笨办法：先按自己猜的配方做一道荷香鸭，跟师傅做的对比，看看差在哪——香料少了？火候大了？然后调整，再做，再对比。这种方法虽然笨，却意外地有效。这正是经典 IRL 算法——学徒学习（Apprenticeship Learning）的朴素直觉。

学徒学习的循环结构是：算法维护一个候选奖励参数 $\theta$，然后在循环里做四件事——第一，在当前奖励下求解最优策略 $\pi_{\theta}$；第二，让策略与环境交互，生成“学徒轨迹”；第三，比较学徒轨迹与专家轨迹的统计量；第四，调整 $\theta$ 让二者更接近。这里的统计量通常是“特征期望”（feature expectation），定义如下：

$$\displaystyle \mu(\theta) = \mathbb{E}_{\tau \sim \pi_{\theta}}\left[\sum_{t=0}^{\infty} \gamma^{t} f(s_t, a_t)\right]$$

1. 特征期望 $\mu(\theta)$：表示一个策略在长期互动中平均能积累多少“特征量”，类似于统计学徒做菜时平均用到多少勺盐、多少片荷叶。

$$\mu(\theta)$$

2. 折扣累计：$\gamma^{t}$ 让远期特征的权重按指数衰减——越靠后的步骤对当下决策的影响越小。

$$\sum_{t=0}^{\infty} \gamma^{t} f(s_t, a_t)$$

3. 特征向量 $f(s_t, a_t)$：把状态和动作浓缩成可比较的数值向量，比如“是否靠近目标”“是否在安全车距内”。

$$f(s_t, a_t)$$

4. 期望运算：对当前策略的所有随机轨迹求平均，刻画“平均水平”而非某一次运气。

$$\mathbb{E}_{\tau \sim \pi_{\theta}}$$

学徒学习的目标是让学徒的特征期望逼近专家：

$$\displaystyle \left| \hat{\mu}_E - \mu(\theta) \right| \le \varepsilon$$

1. 偏差绝对值：$\hat{\mu}_E$ 是从专家示范中统计出的特征期望，右边是学徒策略的特征期望，二者之差的绝对值衡量“口味距离”。

$$\left| \hat{\mu}_E - \mu(\theta) \right|$$

2. 精度阈值 $\varepsilon$：控制匹配的精度，$\varepsilon$ 越小要求越苛刻，相当于“必须把口味调得和师傅一模一样才收手”。

$$\le \varepsilon$$

最大熵 IRL 在做特征匹配的同时，还引入熵正则项来保留人类行为的随机多样性，用梯度迭代求解奖励参数。小蔡的“试错调味法”越来越熟练，做出来的菜也越来越接近师傅的水准——他意识到，自己其实是在用一套系统性的方法，反向推测师傅的配方逻辑。

深度IRL：神经网络时代

小蔡逐渐发现，有些菜的配方不是“几克盐、几毫升酱油”能描述的——比如荷香鸭的香气层次，来自荷叶在不同温度下挥发的芳香物质。这种复杂关系，用简单的加减乘除根本算不清。他需要一种能拟合任意复杂关系的“调味模型”——这恰好对应深度逆向强化学习的登场。

经典 IRL 假设奖励是特征的线性组合，表达能力有限。深度 IRL 用神经网络参数化奖励函数 $R_{\theta}(s, a)$，从而能处理图像、语音、高维语义等复杂状态空间。代表性方法 GAIL（生成对抗模仿学习）用对抗训练替代了“先推断奖励、再优化策略”的繁琐交替：判别器 $D$ 负责区分“专家轨迹”和“策略生成轨迹”，策略（生成器）学习让判别器无法区分。训练完成后，判别器本身就可以作为奖励信号，其数学形式为：

$$\displaystyle D_{\theta}(s, a) = \frac{\exp\left(R_{\theta}(s, a)\right)}{\exp\left(R_{\theta}(s, a)\right) + \pi_{\theta}(a \mid s)}$$

1. 判别器输出 $D_{\theta}$：表示当前状态动作对“来自专家”的概率，取值在 0 到 1 之间——就像品鉴师说出“这盘菜像是师傅做的”的信心值。

$$D_{\theta}(s, a)$$

2. 奖励指数：$\exp\left(R_{\theta}(s, a)\right)$ 把神经网络给出的实数值奖励变成正权重，奖励越高越有“大师风范”。

$$\exp\left(R_{\theta}(s, a)\right)$$

3. 策略概率：$\pi_{\theta}(a \mid s)$ 是生成策略选取当前动作的概率，放进分母形成对抗式平衡——策略越自信，判别器越严格。

$$\pi_{\theta}(a \mid s)$$

4. 比值平衡：整个分数把判别器、奖励函数、策略三者绑定，使判别器既能分类，又可以直接充当奖励函数来训练策略。

$$\frac{\exp\left(R_{\theta}\right)}{\exp\left(R_{\theta}\right) + \pi_{\theta}}$$

小蔡终于用“深度调味模型”替代了原来的线性配方表——它不再只记录“几克盐”，而是捕捉食材间的交互反应。一个真正懂得“层次感”的深度学习学徒，诞生了。

价值对齐：让 AI 理解人类意图

渐渐地，小蔡不仅能复刻荷香鸭，还能举一反三做出“荷香鸡”“荷香排骨”——因为他学到的不只是一道菜，而是师傅的“荷香”理念：荷叶的清鲜要衬托肉的本味，而不是盖过它。这份理念，就是配方背后更深层的价值观。

这正是 IRL 在价值观对齐（value alignment）中的独特价值。当智能体的奖励函数来自人类示范而非人工编写时，它学到的是人类真实的偏好结构，而不是工程师拍脑袋写的近似规则。用推断出的奖励函数重新训练策略：

$$\displaystyle \pi^{*} = \arg\max_{\pi} \mathbb{E}_{\tau \sim \pi}\left[\sum_{t=0}^{T} \gamma^{t} \hat{R}_{\theta}(s_t, a_t)\right]$$

1. 最优策略 $\pi^{*}$：对齐后的智能体策略——即“悟透了理念”的厨师，不再机械照搬任何一个动作。

$$\pi^{*}$$

2. 累计奖励：$\hat{R}_{\theta}$ 是 IRL 推断出的奖励函数，智能体用它来评价整条轨迹的好坏，而不是用人工临时写的规则。

$$\sum_{t=0}^{T} \gamma^{t} \hat{R}_{\theta}(s_t, a_t)$$

3. 期望最大化：在策略的随机轨迹分布上求期望，再找到让期望最大的策略——相当于“在所有做菜风格中，挑最能体现师傅理念的那一种”。

$$\mathbb{E}_{\tau \sim \pi}$$

这种模式让 AI 系统具备举一反三的能力。例如从人类驾驶示范中提取奖励，模型学到的是“平稳、安全、礼貌”的驾驶偏好，而不仅仅是“沿着这 10 条轨迹开”。更进一步，推断出的奖励函数可以被人类审查——它能被读取、分析和验证，看它是否真的反映了我们想要的价值观。小蔡终于领悟：师傅真正传授的不是菜谱，而是一种烹饪哲学。IRL 让 AI 也一样——从示范中学习意图，而不是动作。

挑战局限：IRL 的真实困境

小蔡遇到了新难题：有两种配方做出的鸭子口味几乎一样——一种是“少盐多腌制”，另一种是“多盐少腌制”。师傅明明教的只有一个配方，到底哪个才是真的？他拿着两本笔记犯了难。这就是 IRL 的“奖励歧义性”：不同的奖励函数可能产生同样的最优策略。

更麻烦的是，“专家无限优化”的假设并不总是成立。人类会犯错、会偷懒、会有随机波动——师傅有时候也会因为心情好多放一勺蜜。示范数据还存在覆盖偏差：如果师傅只做过整鸭，没做过鸭腿，那关于鸭腿的数据就完全缺失。这些问题让奖励推断变得充满不确定性。此外还有三个现实困难：第一，示范数据有限时，奖励函数容易过拟合到示范中的噪声上，就像小蔡把师傅一次手抖多加的盐当成了配方铁律；第二，IRL 的算力成本高，因为每一轮奖励更新往往需要求解一次完整的强化学习问题，相当于小蔡每调整一次配方就要完整做一整只鸭子来试吃；第三，推断出的奖励需要与安全约束叠加使用，否则智能体可能在未见过的状态上钻出奖励漏洞。

小蔡意识到，光靠被动“看”是不够的——他还需要主动提问（主动学习），让师傅多演示几种场景（扩大数据覆盖），以及把“绝对不能烧焦”“不能用不新鲜食材”这类安全要求显式编码进配方（约束优化）。IRL 是一个系统工程，而不仅仅是一个孤立的算法。

发展趋势：IRL 的未来方向

如今的小蔡已经开了自己的饭店，他把师傅的配方数字化，还用它来培训新厨师。但他还在探索更大的可能性：能不能让老师傅用语言描述做菜心得，再结合示范视频，自动推断出完整配方？这正是 IRL 与大规模预训练模型结合的新方向。

大语言模型可以提供“奖励先验”——用语言描述人类普遍偏好，比如“驾驶应该平稳舒适”“对话应该尊重用户”；IRL 则从实际示范中修正这些先验中不准确的部分。多模态示范（视频加语言加传感器信号）成为新的数据来源，让奖励推断不再局限于低维状态。与此同时，在线 IRL 让智能体边做边学，在真实交互中持续更新对奖励的估计，而不需要一次性收集完所有专家数据。研究者也在探索“奖励可验证性”——用形式化方法保证推断出的奖励函数满足安全规格，从源头降低奖励黑客的风险。

老周的配方在小蔡手里演化出了新的生命——从一开始的手感经验，到线性配方表，再到深度调味模型，最后结合语言描述与在线反馈持续迭代。这就像 IRL 的进化之路：从一份老菜谱出发，结合新的数据与算法，不断逼近真正的“人间至味”。对 AI 从业者而言，掌握逆向强化学习，就是掌握了一种从示范中提取人类意图的根本方法论——它将在自动驾驶、对话系统、机器人操作等价值观对齐的关键场景中持续发挥核心作用。

AI 应用场景

Python 演示

import numpy as np  class GridWorld:    """一个 4x4 网格环境，起点左上角，终点右下角。"""     def __init__(self, n=4):        self.n = n        self.start = (0, 0)        self.goal = (n - 1, n - 1)        self.actions = [(0, 1), (1, 0), (0, -1), (-1, 0)]        self.gamma = 0.9     def trans(self, s, a):        r, c = s[0] + a[0], s[1] + a[1]        if 0 <= r < self.n and 0 <= c < self.n:            return (r, c)        return s  class MaxEntIRL:    """简化版最大熵逆向强化学习：用线性奖励函数推断专家偏好。"""     def __init__(self, env):        self.env = env        self.n = env.n        self.theta = np.zeros(self.n * self.n)     def feat(self, s):        """独热特征：每个位置一个维度。"""        v = np.zeros(self.n * self.n)        v[s[0] * self.n + s[1]] = 1        return v     def rollout(self, policy, eps=30, max_steps=50):        """按策略采样轨迹。"""        trajs = []        for _ in range(eps):            s = self.env.start            traj = [s]            for _ in range(max_steps):                if s == self.env.goal:                    break                p = policy[s]                s = self.env.trans(s, self.env.actions[np.random.choice(4, p=p)])                traj.append(s)            trajs.append(traj)        return trajs     def feature_exp(self, trajs):        """统计轨迹集合的特征期望。"""        fe = np.zeros(self.n * self.n)        for t in trajs:            for s in t:                fe += self.feat(s)        return fe / len(trajs)     def value_iter(self, r):        """在奖励 r 下做值迭代，得到最优价值函数。"""        V = np.zeros((self.n, self.n))        for _ in range(50):            V2 = V.copy()            for i in range(self.n):                for j in range(self.n):                    s = (i, j)                    if s == self.env.goal:                        continue                    V2[i][j] = max(                        r[self.n * i + j] + self.env.gamma * V[self.env.trans(s, a)]                        for a in self.env.actions                    )            V = V2        return V     def solve(self, expert_trajs, iters=20, lr=0.01):        """学徒学习循环：反复比对学生策略与专家特征期望。"""        mu_E = self.feature_exp(expert_trajs)        for _ in range(iters):            r = np.array(                [                    self.feat((i, j)) @ self.theta                    for i in range(self.n)                    for j in range(self.n)                ]            )            V = self.value_iter(r)            policy = {}            for i in range(self.n):                for j in range(self.n):                    s = (i, j)                    q = [                        r[self.n * i + j] + self.env.gamma * V[self.env.trans(s, a)]                        for a in self.env.actions                    ]                    a_best = int(np.argmax(q))                    p = np.zeros(4)                    p[a_best] = 1.0                    policy[s] = p            mu = self.feature_exp(self.rollout(policy))            self.theta += lr * (mu_E - mu)        return self.theta  if __name__ == "__main__":    env = GridWorld(4)    irl = MaxEntIRL(env)     # 模拟一位"偏好向右与向下"的专家策略    expert_policy = {}    for i in range(env.n):        for j in range(env.n):            s = (i, j)            if s == env.goal:                expert_policy[s] = np.ones(4) / 4            else:                p = np.zeros(4)                if j < env.n - 1:                    p[0] += 0.5  # 向右                if i < env.n - 1:                    p[1] += 0.5  # 向下                if p.sum() == 0:                    p = np.ones(4) / 4                expert_policy[s] = p / p.sum()     expert_trajs = irl.rollout(expert_policy, eps=50)    theta = irl.solve(expert_trajs, iters=20)    print("推断出的奖励矩阵:")    print(theta.reshape(env.n, env.n).round(2))

1. self.theta = np.zeros(self.n * self.n)把奖励函数初始化为全零向量，后续用梯度逐步更新，就像小蔡一开始对配方一无所知。
2. v[s[0] * self.n + s[1]] = 1独热特征：每个位置一个维度，让“位置”本身成为奖励的度量单元。
3. while s != self.env.goal:生成一条完整轨迹直到抵达目标，模拟专家完成一次完整示范。
4. mu_E = self.feature_exp(expert_trajs)先统计专家示范的特征期望，作为学徒学习的“标准答案”。
5. r = np.array([...])把当前 θ 转换成逐格奖励表，相当于把配方翻译成每个位置“值多少分”。
6. V = self.value_iter(r)在当前奖励下用值迭代求最优价值函数，相当于“按当前配方把菜做出来试吃”。
7. a_best = int(np.argmax(q))取最大动作价值的索引，得到当前奖励下的确定性策略。
8. mu = self.feature_exp(self.rollout(policy))学徒按当前策略采轨迹，算出自己的特征期望。
9. self.theta += lr * (mu_E - mu)梯度上升：增强“专家有而学徒没有”的特征，削弱“学徒有而专家没有”的特征。
10. print(theta.reshape(env.n, env.n).round(2))把奖励向量还原成网格，直观看到“目标附近区域的奖励更高”。

常见误区

面试题