自动微分：自动微分vs手动微分

可视化演示

导数基础直觉：尝一口汤就知道变化方向

老主厨王师傅判断一锅汤咸不咸，只需抿一小口，就能说出该补半勺盐还是两勺糖。他凭的不是玄学，而是常年积累的“变化敏感度”：汤的咸味对盐量的敏感程度是多少。数学上把这个“输出随输入变化的即时比例”叫做导数。如果你的函数是一锅汤，输入变量是每味调料，那么导数回答的就是：“这味调料动一点点，汤的味道整体动多少。”

把视角拉宽到人工智能领域，一个模型的“味道”就是损失函数——一个用来衡量模型答得对不对的数值。模型里有成千上万种“调料”，也就是参数。想要让损失变小，就要知道每个参数该往哪个方向调、调多大幅度。这个“该往哪调”的信息，正是由梯度提供的。梯度是导数的自然延伸：它把所有输入各自的变化敏感度打包成一个向量，向量的方向就是函数上升最快的方向，反方向则是下降最快的方向。

核心公式是导数的定义，它把一个“平均变化率”不断压缩到某一个点：

王师傅的舌头能尝出咸淡，靠的是无数次实践。而计算机没有舌头，它需要一套系统的方法来“尝”出函数的变化方向——这正是后面几节展开的：从手工计算到自动传感器。

手动微分世界：纸笔配方的痛苦

老式厨房里没有传感器，王师傅要推一道新菜的“影响配方表”，只能搬出纸笔。他先根据菜谱结构，用数学规则把“每种配料对成品的导数公式”一步步推出来，再把这些公式写进程序里代值计算。这条路，就叫手动微分。

手动微分有两种常见做法。第一种是符号求导：像解代数题一样，用求导规则（乘积法则、链式法则）把表达式变换成导数的解析表达式。比如给定 \(\sin x \cdot x^2\)，你能算出一个新表达式 \(\cos x \cdot x^2 + \sin x \cdot 2x\)，之后代入任何 x 都能用。第二种是数值微分：不推公式，直接用定义近似，给 x 加上一个极小的扰动 \(\varepsilon\)，用差商估计斜率。前者准确但表达式会越推越长，后者简单却在每一步都引入近似误差。

$$\frac{\mathrm{d}}{\mathrm{d}x}\left( \sin x \cdot x^2 \right) = \cos x \cdot x^2 + \sin x \cdot 2x$$

1. 识别乘积结构：\(\sin x\) 和 \(x^2\) 相乘，手动求导第一步是认出这里藏着乘积法则。

$$u(x)v(x), \quad u=\sin x,\ v=x^2$$

2. 分别求因子导数：\(u' = \cos x\)，\(v' = 2x\)，这是两个查表可得的基础导数。

$$u' = \cos x, \quad v' = 2x$$

3. 套用乘积法则：结果等于 \(u'v + uv'\)，展开成两项相加，最终得到完整公式。

$$u'v + uv' = \cos x \cdot x^2 + \sin x \cdot 2x$$

再看数值微分公式：

$$f'(x) \approx \frac{f(x+\varepsilon) - f(x-\varepsilon)}{2\varepsilon}$$

1. 对称采样：在 x 左右两侧各取距离为 \(\varepsilon\) 的点，分别计算函数值。

$$f(x+\varepsilon), \quad f(x-\varepsilon)$$

2. 差商表达变化：两个函数值相减，表示这段区间上函数的总变化量。

$$f(x+\varepsilon) - f(x-\varepsilon)$$

3. 除以区间长度：用总变化量除以 \(2\varepsilon\)，得到平均斜率；\(\varepsilon\) 越小，结果越接近真实导数。

$$\frac{\Delta f}{2\varepsilon} \approx f'(x)$$

手动微分的问题在“菜谱”规模变大时彻底暴露：模型几十层、参数几百万个，符号求导的公式能铺满整面墙，数值微分要对每个参数各做一次前后采样，计算量惊人，而且任何一处笔误都会让梯度方向错乱。王师傅写几道菜的配方还可以，管理整条中央厨房流水线就力不从心了。

符号求导示例\frac{d}{dx}(\sin x \cdot x^2) = \cos x \cdot x^2 + \sin x \cdot 2x 数值微分示例f'(x) \approx \frac{f(x+\varepsilon) - f(x-\varepsilon)}{2\varepsilon}

计算图与链式法则：给厨房装传感器

王师傅决定改革：他先画出每道菜的完整工序图——从备料、切配、加热到调味、摆盘，每一步都画成节点，节点之间用箭头连接，箭头代表半成品流向。然后他在每个工序节点上装一个读数表，记录“这个工序的输出对它的输入有多敏感”。这就是计算图：把复杂函数拆成一系列基础运算组成的有向无环图，图中每个节点是一次基本运算，每条边是一个中间结果。

装好传感器后，影响怎么传递？靠的是链式法则。假设成品是 \(z\)，中间经过了一个中转工序 \(u\)，再连到原料 \(x\)。那么原料对成品的总影响，等于“成品对中转的影响”乘以“中转对原料的影响”。就像你想知道辣椒多了对最终菜品的辣度影响，可以先看辣椒对辣汤的影响，再看辣汤对成品的影响，两个系数相乘。

通用公式如下，它把一条长链上的影响逐级串起来：

有了工序图和局部读数表，自动微分就有了物理基础。接下来的问题是：传感器该怎么跑？是从头到尾推一遍，还是从成品倒着查一遍？下面两节就是两条路线。

前向模式：从第一道工序一路推到成品

王师傅想算“主料加一克，成品会变多少”。他采取的策略是：从第一道工序开始，在手里捏着一个虚拟的“影响种子”——假设主料的变化率是 1，其他原料是 0——然后带着这个数字走完整条流水线。每经过一道工序，就把当前影响乘以该工序的局部影响系数，得到下一步的影响数值。等走到成品时，手里拿到的就是“主料对成品的完整影响”。这套方法就是前向模式自动微分。

前向模式的特点是同步计算：一边算函数值，一边算导数。它把普通的数据流 \(v_i\) 扩展成一对数据：数值本身和它对种子输入的导数 \(\dot{v}_i\)。每个基础运算都同时更新这两个量。因为计算顺序是从输入到输出，天然符合流水线的方向，所以叫“前向”。

数学上，前向模式沿计算图的拓扑序传递导数：

前向模式每运行一次，只能得到一个输入对全部输出的影响。如果一个模型有 1000 万个参数，就要跑 1000 万遍——太奢侈了。但在“输入很少、输出很多”的场景，比如机器人关节力矩计算，它反而非常高效。王师傅想：要是能倒过来，从成品反向查一遍，也许一次就能拿到所有配料的贡献？

反向模式：从成品倒推每一道工序的影响

王师傅换了个思路：不再从原料往成品推，而是从成品倒着走。他先给成品贴上一个“单位影响标签”——假设成品变化 1 个单位。然后走到倒数第一道工序，问它：成品的变化里，有多少是你贡献的？得到答案后，把这个影响系数继续往上一道工序传。每传一次，影响标签就被乘上该工序的局部导数。走到原料端时，每份原料都拿到一个完整的“成品对它的影响值”。这就是反向模式自动微分，也叫伴随模式。

反向模式先做一遍前向传播，把每道工序的中间值都记录并存储下来；然后从输出节点开始，沿反方向传播梯度。这里最关键的量叫伴随量 \(\bar{v}_i\)，表示最终输出对节点 \(v_i\) 的梯度。它的计算顺序和正向相反：先算靠近输出的节点，再算靠近输入的节点。

计算公式为：

这就是深度学习中大名鼎鼎的反向传播算法。它和反向模式自动微分是一回事：一次反向传播，就可以得到损失函数对每一层权重、每一个偏置的梯度，然后交给优化器去更新参数。王师傅的整条流水线，现在只需要“尝一口成品”就能同时知道所有配料该加减多少——效率发生了质变。

模式对比与工程选择：选对传菜路线

王师傅总结了两种传菜路线：从原料到成品叫前向，从成品回原料叫反向。到底选哪种，取决于厨房的格局——是原料种类多，还是成品菜式多。如果原料只有几种、成品却有几百道菜，从头到尾推一遍，每种原料跑一次就能算出所有成品的影响，非常划算；反过来，如果原料上千种、成品只有一种（比如一锅汤的咸淡），那从成品倒推一次，就能拿到所有原料的影响，效率最高。

用数学语言说：假设函数有 \(m\) 个输入、\(n\) 个输出。前向模式要跑 \(m\) 次（每输入一个种子），反向模式要跑 \(n\) 次（每输出一个种子）。深度学习模型通常是上千万个参数（输入维度 m 巨大），但损失函数只有 1 个标量输出（n＝1），所以反向模式成为绝对主流。

工程中还有一个不可忽视的因素：内存。反向模式为了回传梯度，必须存下前向传播的所有中间结果，网络越深，显存占用越大。工程师们的应对招数是“检查点”：每隔几层存一次中间值，反向时再重算丢失的部分，用时间换空间。此外，前向模式实现简单、内存占用低，在科学计算场景仍有重要地位。今天的 PyTorch、TensorFlow 等框架，已经把自动微分内化成张量的基本能力，调用一次 backward() 就能拿到全部梯度。王师傅的传感器厨房最终落地成了一整套自动化产线，手动微分那本厚厚的纸笔配方，退居为理解原理的教材。

AI 应用场景

Python 演示

# 最小前向自动微分(对偶数)演示import math  class Dual:    # value 储存函数值, deriv 储存对目标输入的导数    def __init__(self, value, deriv=0.0):        self.value = value        self.deriv = deriv     def __add__(self, other):        other = other if isinstance(other, Dual) else Dual(other)        return Dual(self.value + other.value,                    self.deriv + other.deriv)     def __sub__(self, other):        other = other if isinstance(other, Dual) else Dual(other)        return Dual(self.value - other.value,                    self.deriv - other.deriv)     def __mul__(self, other):        other = other if isinstance(other, Dual) else Dual(other)        return Dual(self.value * other.value,                    self.deriv * other.value + self.value * other.deriv)     def __truediv__(self, other):        other = other if isinstance(other, Dual) else Dual(other)        return Dual(self.value / other.value,                    (self.deriv * other.value - self.value * other.deriv)                    / (other.value ** 2))  def f(x, y):    # 例子: z = (x + y) * (x - y) = x^2 - y^2    return (x + y) * (x - y)  # 自动微分: 让 x 的种子导数为 1, y 的为 0x = Dual(3.0, 1.0)y = Dual(4.0, 0.0)z = f(x, y)print(f"自动微分结果: z={z.value}, dz/dx={z.deriv}") # 手动微分对照: z = x^2 - y^2, dz/dx = 2xprint(f"手动微分结果: dz/dx={2 * 3.0}") # 换个种子: 关注 yx = Dual(3.0, 0.0)y = Dual(4.0, 1.0)z = f(x, y)print(f"自动微分结果: dz/dy={z.deriv}")print(f"手动微分结果: dz/dy={-2 * 4.0}") # 数值微分对比eps = 1e-6num = (f(3.0 + eps, 4.0) - f(3.0 - eps, 4.0)) / (2 * eps)print(f"数值微分结果: dz/dx={num:.6f}")

1. class Dual:定义一个“带导数”的数。每个值除了本身数值，还额外背着一个导数，像厨师手中拿着数值和影响系数两份账单。
2. def __mul__(self, other):重载乘法运算，乘法法则对应 \(u'v + uv'\)，保证自动跟随求导规则。
3. x = Dual(3.0, 1.0)给输入播撒种子导数：想求对 x 的偏导，就把 x 的种子设为 1，其他输入设为 0。
4. z = f(x, y)运行同一套函数代码，值和导数一路同步计算，不需要单独写梯度公式。
5. num = (f(3.0 + eps, 4.0) - f(3.0 - eps, 4.0)) / (2 * eps)数值微分用差商近似导数，验证自动微分结果的正确性。

常见误区

面试题