自然梯度与Fisher信息度量：给登山向导的坐标密码

可视化演示

展示Fisher信息矩阵作为黎曼度量、自然梯度与标准梯度的更新差异、TRPO与KFAC近似应用，支持曲率调节。

普通梯度迷路

想象你是一位登山向导，拿着一幅格子极大的旧地图。地图上的方格横平竖直，你决定“每次朝东南方向走地图上的两格”。可是当客户换了一张用不同投影方式绘制的新地图时，同样的两格在真实山脊上却指向了完全不同的方向。普通梯度下降正是这样一只依赖“格子”的登山者：它把参数坐标之间的欧氏距离当作远近的标尺，却忘记了坐标网格只是我们为了方便而人为画的。

在机器学习里，模型参数 \(\theta\) 就是你在山中的坐标，损失函数 \(L(\theta)\) 是海拔高度。普通梯度下降沿负梯度迭代：

$$\displaystyle \theta_{k+1} = \theta_k - \eta \nabla L(\theta_k)$$

1. 当前所在位置：\(\theta_k\) 是第 \(k\) 轮迭代的参数向量，相当于登山者当前的地图坐标。

$$\theta_k$$

2. 找出最陡上升方向：\(\nabla L(\theta_k)\) 是损失函数对参数的梯度，它告诉登山者“朝哪一步海拔升高最快”。

$$\nabla L(\theta_k)$$

3. 朝下降方向前进：取负梯度方向，用学习率 \(\eta\) 控制步长，得到新一轮参数。

$$\theta_{k+1} = \theta_k - \eta \nabla L(\theta_k)$$

这个更新规则隐含了一个重要假设：我们把“参数变化的大小”用欧氏距离来衡量。可一旦换一种参数写法，比如把 \(\theta\) 整体放大两倍，梯度的方向和大小都会变形，搜索路线也截然不同。这就是普通梯度的“迷路”之处——它不是沿着山脊的真实坡度走，而是盯着地图格子走。

得分函数

向导之所以不被地图骗，是因为他能弯腰捏起一把沙土，感受每一步踩下去时地面的反馈。在概率模型中，这种“地面反馈”就是得分函数（Score Function）：对数似然对参数的一阶导数。它回答一个朴素的问题：当参数 \(\theta\) 稍微动一下，模型给某个观测 \(x\) 的预测概率会往哪个方向改变？

$$\displaystyle s(\theta) = \nabla_\theta \log p(x; \theta)$$

1. 取对数似然：\(\log p(x; \theta)\) 把连乘的概率变成连加，让导数计算更稳定，也更容易与信息论联系起来。

$$\log p(x; \theta)$$

2. 对参数求梯度：\(\nabla_\theta\) 对参数向量 \(\theta\) 求偏导，得到一组数值，表示每个参数分量对概率的影响方向。

$$\nabla_\theta$$

3. 组合成得分向量：\(s(\theta)\) 是这一组偏导组成的向量，描述“参数微调时，观测到该样本的可能性如何变化”。

$$s(\theta) = \nabla_\theta \log p(x; \theta)$$

得分函数有一个漂亮的统计性质：在所有满足正则条件的模型中，它对所有样本求期望后等于零——这就像向导很多次捏起沙土后总结出：沙土的平均手感并不会骗人，但它能告诉你脚下坡度的“局部应力”分布。这个期望为零的性质，是后面推导Fisher信息矩阵的基石。

Fisher矩阵

向导不满足于一次手感，他会把捏过的每一把沙土都记录下来，看看哪些方向最“吃劲儿”。Fisher信息矩阵做的就是这件事：在所有可能的样本上，把得分向量和它的转置做外积，再取期望。它回答的问题是：“参数 \(\theta\) 在这个位置附近轻轻一动，模型输出概率分布平均会变化多少？”

$$\displaystyle F(\theta) = \mathbb{E}_{p(x;\theta)}\big[s(\theta) s(\theta)^\top\big] = -\mathbb{E}_{p(x;\theta)}\big[\nabla_\theta^2 \log p(x; \theta)\big]$$

1. 得分外积：\(s(\theta)s(\theta)^\top\) 是一个矩阵，它同时记录了每个方向上“响应强度”的平方和不同方向之间的耦合。

$$s(\theta)s(\theta)^\top$$

2. 对所有样本取期望：\(\mathbb{E}_{p(x;\theta)}[\cdot]\) 按当前模型的概率分布对所有可能的观测取平均，得到一个不依赖具体某条样本、只依赖参数位置的矩阵。

$$\mathbb{E}_{p(x;\theta)}[\cdot]$$

3. 第二种等价表达：在正则条件下，它等于对数似然海森矩阵取负号后的期望，这揭示出Fisher信息与分布曲率的深层联系。

$$-\mathbb{E}\big[\nabla_\theta^2 \log p(x; \theta)\big]$$

如果模型是单变量高斯 \(p(x;\theta)=\mathcal{N}(x;\theta,\sigma^2)\)，那么 \(s=(x-\theta)/\sigma^2\)，Fisher信息就是 \(F=1/\sigma^2\)。方差越大，参数一个微小移动对分布的影响越小，“地形尺”读出的距离越短。这把尺子就是向导鞋底真正感知到的路况。

黎曼度量

向导手里的地图不是平的：同一个纬度的步长，在缓坡和陡坡上的“真实代价”完全不同。参数空间也是如此，它是一张弯曲的流形（Manifold），我们在意的距离不是参数坐标的直线距离，而是概率分布之间的差异。Fisher信息矩阵正是定义在参数流形上的黎曼度量张量。

衡量两个分布差异的常用工具是KL散度。当参数从 \(\theta\) 挪到 \(\theta+\delta\) 时，KL散度有一个著名的局部展开：

$$\displaystyle D_{KL}\big(p(x;\theta)\ \|\ p(x;\theta+\delta)\big) \approx \frac{1}{2}\delta^\top F(\theta)\delta$$

1. KL散度：\(D_{KL}(P\ \|\ Q)\) 衡量分布 \(P\) 相对于 \(Q\) 的信息损失，它像一个不对称的“分布距离”。

$$D_{KL}(p(x;\theta)\ \|\ p(x;\theta+\delta))$$

2. 一阶项消失：因为得分函数期望为零，展开式中的线性项消失，只剩下二阶项。

$$\delta^\top \nabla_\theta D_{KL}\Big|_{\theta}=0$$

3. 二阶项由Fisher矩阵控制：二次型 \(\delta^\top F\delta\) 给出了小位移 \(\delta\) 在分布空间中的真实“几何长度”。

$$\frac{1}{2}\delta^\top F(\theta)\delta$$

这个公式像向导在登山杖上刻下的刻度：在参数流形的每个位置，往不同方向迈出同样坐标距离的步子，在“分布距离”上消耗的体力截然不同。黎曼度量给山体赋予了真实的几何形状，自然梯度的谜底就藏在其中。

自然梯度

现在我们知道：山是有真实几何的，Fisher矩阵就是每个位置的“地形尺”。那么，在给定一步“几何距离”的预算下，哪个方向让损失下降最快？这就是自然梯度要回答的问题。它不再问“地图格子里哪边是下坡”，而是问“在真实山体上，哪条路朝山谷走得更陡”。

把步长约束写成二次型形式 \(\delta^\top F\delta \le \epsilon\)，用拉格朗日乘子法求解，可以得到最陡下降方向恰好是：

$$\displaystyle \nabla_{\text{nat}} L(\theta) = F(\theta)^{-1} \nabla L(\theta)$$

1. 步长预算：约束 \(\delta^\top F\delta \le \epsilon\) 表示在Fisher度量意义下的“真实距离”被限制在 \(\epsilon\) 内。

$$\delta^\top F(\theta)\delta \le \epsilon$$

2. 用拉格朗日乘子求极值：在约束下最小化 \(L(\theta+\delta)\) 的线性近似，最优位移方向满足 \(F\delta = -\eta\nabla L\)。

$$F(\theta)\,\delta = -\eta \nabla L(\theta)$$

3. 解出位移方向：两边乘以 \(F^{-1}\)，得到与普通梯度方向不同的新方向 \(\nabla_{\text{nat}}L = F^{-1}\nabla L\)。

$$\nabla_{\text{nat}} L(\theta) = F(\theta)^{-1}\nabla L(\theta)$$

于是自然梯度更新规则为：

$$\displaystyle \theta_{k+1} = \theta_k - \eta \, F(\theta_k)^{-1}\nabla L(\theta_k)$$

向导的“口诀”变成了：先测出脚下的真实曲率 \(F\)，再把普通方向拆掉坐标格子的干扰，沿着修正后的方向走。在椭圆等高线的山谷里，普通梯度会走锯齿状的之字路，自然梯度却能用最少的步数直达谷底。

参数化不变

如果客户突然掏出一张用新投影绘制的地图，向导会担心吗？不会，因为他是靠脚感认路的。自然梯度最迷人的性质正是参数化不变性：当我们把参数从 \(\theta\) 换成 \(\phi=g(\theta)\) 时，更新轨迹在真实参数空间中始终保持一致。

设雅可比矩阵 \(J=\partial \phi/\partial \theta\)，Fisher矩阵在换坐标系时会按如下规律变化：

$$\displaystyle F_\phi = J^{-\top} F_\theta J^{-1}$$

1. 链式法则：得分函数在新坐标系下等于 \(J^{-\top}s_\theta\)，因为对数似然对 \(\phi\) 求导要经过链式法则。

$$s_\phi = J^{-\top}s_\theta$$

2. Fisher矩阵的坐标变换：对外积取期望后得到 \(F_\phi = J^{-\top}F_\theta J^{-1}\)。

$$F_\phi = J^{-\top}F_\theta J^{-1}$$

3. 自然梯度随坐标共变：代入定义可推出 \(F_\phi^{-1}\nabla_\phi L = J^{-1}F_\theta^{-1}\nabla_\theta L\)，这正是参数变化时应有的转换方式。

$$F_\phi^{-1}\nabla_\phi L = J^{-1}F_\theta^{-1}\nabla_\theta L$$

普通梯度没有这种“共变”性质：坐标一格，路线就变。自然梯度则像是手里握着真正的山体GPS，无论客户把地图换成哪种格子，走过的路线在山体上都是同一条。这解释了为什么自然梯度在概率模型优化中格外稳——它不把信任寄托在人为的参数写法上。

工程实现

知道正确方向是一回事，在雪山上把装备扛上去是另一回事。自然梯度在实际工程中最大的障碍是：\(F^{-1}\) 很难算。Fisher矩阵的维度等于参数数量，在神经网络里动辄上百万维，直接求逆完全不现实。向导需要把地形尺折叠进背包里。

常见的工程策略是用阻尼项保证数值稳定：

$$\displaystyle \theta_{k+1} = \theta_k - \eta\,\big(F(\theta_k)+\lambda I\big)^{-1}\nabla L(\theta_k)$$

1. 加阻尼项：\(\lambda I\) 相当于给Fisher矩阵的对角线加上一个正数，避免因特征值过小导致的数值爆炸。

$$F + \lambda I$$

2. 再求逆：对加阻尼后的矩阵求逆，方向介于自然梯度与普通梯度之间，牺牲少量几何纯度换取稳健。

$$(F+\lambda I)^{-1}$$

3. 完成更新：用该方向更新参数，\(\lambda\) 越大越保守，越小越激进。

$$\theta_{k+1} = \theta_k - \eta(F+\lambda I)^{-1}\nabla L$$

除此之外，领域里常用分块对角近似和 K-FAC 等技巧，把大矩阵拆成若干小块的克罗内克乘积，让自然梯度在大型模型上也跑得动。这些装备让向导不仅能认路，还能真的走完全程。

应用场景

当向导的手艺真正派上用场，是在那些“地图特别容易骗人”的领域。变分推断中，我们优化变分分布的参数来逼近真实后验；策略梯度算法中，我们更新神经网络策略让累计奖励最大化。两处都是概率模型，参数化方式五花八门，普通梯度常常震荡难稳，自然梯度却大放异彩。

TRPO 等强化学习算法正是利用了 Fisher 信息与 KL 散度的关系：每次更新前约束新旧策略的 KL 散度，本质上就是在用自然梯度控制“一步走出多远”。这让策略更新不会太激进，训练曲线平滑许多。变分推断里的自然梯度同样能自适应分布的曲率，让优化在复杂的隐变量空间里稳步前进。

AI 应用场景

Python 演示

import numpy as np  def run():    rng = np.random.default_rng(1)    true_mean = np.array([1.5, -2.0])    cov = np.diag([1.0, 4.0])     # 从真实分布采样，用于估计负对数似然    X = rng.multivariate_normal(true_mean, cov, size=50)    data_mean = X.mean(axis=0)     theta_gd = np.array([-3.0, 3.0])    theta_ng = np.array([-3.0, 3.0])    lr = 0.05    path_gd = []    path_ng = []     for _ in range(30):        # 普通梯度：Sigma^{-1} (theta - data_mean)        grad = np.linalg.solve(cov, theta_gd - data_mean)        theta_gd -= lr * grad         # 自然梯度：Fisher F = Sigma^{-1}，        # F^{-1} grad = cov dot grad = theta - data_mean        nat_grad = theta_ng - data_mean        theta_ng -= lr * nat_grad         path_gd.append(theta_gd.copy())        path_ng.append(theta_ng.copy())     print("普通梯度最终点:", np.round(theta_gd, 4))    print("自然梯度最终点:", np.round(theta_ng, 4))    print("数据均值(最优值):", np.round(data_mean, 4))  if __name__ == "__main__":    run()

1. cov = np.diag([1.0, 4.0])两个方向方差不同，制造“陡坡”与“缓坡”，让普通梯度暴露之字路径。
2. grad = np.linalg.solve(cov, theta_gd - data_mean)求解 \(\Sigma^{-1}(\theta-\bar{x})\)，这是负对数似然的普通梯度。
3. nat_grad = theta_ng - data_mean因为自然梯度是 \(F^{-1}\nabla\)，而 \(F=\Sigma^{-1}\)，恰好化简为 \(\theta-\bar{x}\)。
4. theta_gd -= lr * grad普通梯度沿坐标轴方向更新，容易被陡峭方向拖慢。
5. theta_ng -= lr * nat_grad自然梯度在Fisher度量下更新，所有方向按曲率归一，收敛路径更直。

常见误区

面试题