信赖域：别让步子迈太大

可视化演示

展示信赖域方法的核心机制：固定信任范围求解子问题、狗腿法折线路径构造、以及近似质量驱动的半径自适应调整。

信赖域思想

想象你站在漆黑山谷的缓坡上，手电筒只照亮周围三米。你当然知道山脚在正下方，但中间隔着什么——灌木、石块还是暗沟——你一无所知。聪明的做法不是顺着直觉一冲到底，而是先低头看看脚下：在光圈照见的范围里，挑一条看起来最顺的下坡小径，挪一小步。这一小步之所以安全，是因为它发生在“光照范围内”。信赖域方法的名字就是这么来的：先圈一块你信得过的地盘，再在这块地盘上做决定。

优化问题里，“你”是当前参数点 \(\mathbf{x}\)，“山脚”是最优点，“手电筒光圈”就是信赖域——一个以当前点为中心、半径为 \(\Delta\) 的球。每一步我们不直接求解原始问题，而是先假设在球内有一个好用的近似模型 \(m_k(\mathbf{p})\) 描述“如果走 \(\mathbf{p}\) 这一步，函数值大概会变成多少”，然后在这个球内找一个让模型最小的步。球的半径 \(\Delta\) 不是固定值，而是每轮根据模型与实际函数的吻合程度动态调整。

这样设计的最大好处是“误差可控”。线搜索的做法是：先确定方向、再沿方向反复试步长（后退、跨步、插值）；信赖域反过来，先限定步长的活动范围，再在范围内同时决定方向和步长。当近似模型在范围内很准，我们就放心大胆扩大半径；一旦模型失真，立刻收缩半径。这个“先圈地、再找路”的顺序，让每一步都建立在“当前信息可信”的前提上，所以对非凸、病态的问题格外稳健。

这个“先画圈再迈步”的流程，就是整篇文章的地基。接下来的每一节，都在回答同一个问题：光圈里的地形怎么模拟、怎么找路、怎么根据脚感调光圈。每一步你都会看到手电筒的影子和它背后的数学一一对应。

模型构建

手电筒光圈里的地面，其实不是真实地面，而是光线和阴影拼出的一张粗糙草图：哪里有坡度、哪里有裂缝，都只是大致轮廓。同样，信赖域圈内的函数地形，我们用当前点的“导数信息”搭一张近似草图——二阶泰勒展开。

具体地，假设当前点是 \(\mathbf{x}_k\)，函数值是 \(f_k\)，梯度是 \(\mathbf{g}_k\)（一阶导数，指明局部最陡方向），海森矩阵是 \(\mathbf{H}_k\)（二阶导数，表示地形的曲率与弯曲程度）。在这附近，函数可以用下面的二次模型近似：

如果只保留一阶项，模型退化成“坡度直尺”，在 \(\lambda\) 型山谷里容易把方向带偏；加上二阶项后，模型能看出“这条路转到后面是上坡还是下坡”，这正是牛顿法思想的精髓。海森矩阵通常代价较高（\(n^2\) 个元素），实践中常用拟牛顿（BFGS / L-BFGS）或有限差分近似，这不影响信赖域的整体框架。注意：模型只在半径 \(\Delta\) 内可信，越靠近圆心误差越小、越靠边越粗糙——所以大步子只有在模型被验证可靠时才会被允许。

有了这张“手电筒草图”，下一步就是在这张草图里找到一个看起来最低的落点。光圈有限，草图画得再好，也只能在圈内寻路——这就引出了下一节的子问题。

子问题求解

你已经有了光照范围内的地面草图，接下来要在这个圈里找“看起来最低”的下脚处。这个“带着尺子的受限寻路”，在数学上是一个带约束的优化子问题：目标函数是二阶模型，约束是步子别迈出光圈。

直接精确求解这个子问题并不容易：当海森矩阵不是正定时，模型函数本身非凸；带球约束又让问题变成非线性规划。好在优化理论给了我们一条务实路线——不求完美、只求“充分下降”，也就是找一个在模型下足够好的步，保证迭代能持续推进。两种最常用的近似路线是柯西点与狗腿法，后者我们在下一节展开。

柯西点（Cauchy point）的思路非常符合直觉：先沿负梯度方向（最陡下降方向）在模型里找最优步长，再把它截回圈内。它的计算公式是：

柯西点像“顺着灯光最强处直走一步”，稳妥但有点保守——它只用了一阶信息。想要更快逼近最优，就得把二阶信息（牛顿方向）也请进来。于是，手电筒的故事里多了一条狗腿。

半径更新

每一次迈步，都是对手电筒“预判能力”的考试：脚踩下去之前，你预测踩在实地上；踩下去之后，脚的感受是硬是软、是平是斜，一对比就知道刚才的光照判断靠不靠谱。信赖域用“实际下降与预测下降的比值”来打分。

记第 \(k\) 轮实际函数值从 \(f(\mathbf{x}_k)\) 降到了 \(f(\mathbf{x}_k+\mathbf{p}_k)\)，这是“真实脚感”；模型预测的下降是 \(m_k(\mathbf{0}) - m_k(\mathbf{p}_k)\)，这是“圈内预判”。真实下降除以预测下降，得到比值 \(\rho_k\)：

半径更新的控制规则（阈值可调，常用如下）：若 \(\rho > 0.75\)，模型非常靠谱，把手电筒光圈调大，比如 \(\Delta \leftarrow 2\Delta\)；若 \(\rho < 0.25\)，模型不够准，立刻缩小光圈，比如 \(\Delta \leftarrow \Delta/4\)；若 \(0.25 \le \rho \le 0.75\)，中规中矩，保持半径不变。细节上还有一个关键动作：当 \(\rho \le 0\) 时，这一步通常被拒绝（\(\mathbf{x}\) 不动），只缩小半径重来。

这套“打分—调光圈”机制，让信赖域自动适应地形：在开阔平缓处大步流星，在崎岖处小心翼翼。它不需要人去猜学习率——光圈的大小是环境反馈出来的。

狗腿法

手电筒圈住了一块地，最陡方向（柯西点）和牛顿方向指向的两个落点不在一起：一个更近更保守，一个更远更激进。你想先把最稳妥的便宜占了，再往激进的落点补一脚——这样走出来的路径，活像小狗翘腿撒尿时那条折线，于是得名“狗腿法”。

狗腿法把“从当前点到最优点的搜索路径”近似为一条折线：第一段从原点（当前点）走到柯西点 \(\mathbf{p}^U\)，第二段从柯西点拐向牛顿点 \(\mathbf{p}^B\)。实际步长就是这条折线与信赖域圆的交点。若牛顿点本身就在圈内，直接取牛顿点——这是最理想的情况。

实现上，狗腿法计算量与柯西点几乎相同：柯西点已算好，牛顿点解一次线性方程组即可，然后只需要解一个关于 \(\tau\) 的二次方程求圆交点。相比直接精确求解子问题（需要迭代投影、特征值分解等），狗腿法廉价且稳定，是信赖域实现中最流行的一档近似。它的名字常让人会心一笑，但背后是“保底+进取”的精确折中。

小狗翘腿曲线固然有趣，但它真正动人的地方是——用几乎免费的代价，同时享受了一阶方向的稳妥和二阶方向的进取，这正是信赖域能在工程中落地的原因。

实战应用

在今天的大模型和强化学习夜路里，地形更加陡峭危险：奖励面崎岖、损失面布满暗沟。手电筒的智慧反而更受重视——只不过光圈从“欧氏球”换成了“分布距离球”。强化学习里的 TRPO（信赖域策略优化）就是用 KL 散度当光圈，限制新旧政策的距离，防止一次更新步子太大把整个策略踹下悬崖。

本质上，信赖域思想在深度学习里的身影到处都是：把参数更新限制在一个范数球内（梯度裁剪也是类似精神），在损失面高度非凸的情况下，它能比固定学习率的 SGD 更稳。与一阶线搜索相比，信赖域额外使用二阶信息（或近似），能感知曲率；与裸牛顿法相比，它又通过半径圈住了牛顿步可能带来的“远距离冒进”。

TRPO 的目标函数带上了明确的约束：

从山间手电筒到强化学习的 KL 光圈，信赖域的方法论始终如一：承认模型的局限，用一圈可信的边界保护每一次迭代，再用真实反馈审视这个边界。别让步子迈太大——这句朴素的提醒，正是现代优化在复杂地形上稳赢的秘诀。

AI 应用场景

Python 演示

import numpy as np def rosen(x):    # Rosenbrock 函数, 山谷形状, 经典非凸优化测试    return 100 * (x[1] - x[0] ** 2) ** 2 + (1 - x[0]) ** 2 def rosen_grad(x):    return np.array([        -400 * x[0] * (x[1] - x[0] ** 2) - 2 * (1 - x[0]),        200 * (x[1] - x[0] ** 2)    ]) def rosen_hess(x):    return np.array([        [1200 * x[0] ** 2 - 400 * x[1] + 2, -400 * x[0]],        [-400 * x[0], 200.0]    ]) def trust_region(x0, delta0=1.0, max_iter=60, eta=0.25):    # 信赖域法最小化 Rosenbrock 函数    x = x0.copy()    delta = delta0    history = [x.copy()]    for _ in range(max_iter):        g = rosen_grad(x)        H = rosen_hess(x)        gnorm = np.linalg.norm(g)        if gnorm < 1e-8:            break        try:            p_newton = np.linalg.solve(H, -g)        except np.linalg.LinAlgError:            break        p_unit = -g / gnorm        denom = max(1e-8, (g @ H @ g) / gnorm ** 2)        p_cauchy = p_unit * min(delta, gnorm / denom)        pn = np.linalg.norm(p_newton)        if pn <= delta:            p = p_newton        elif np.linalg.norm(p_cauchy) >= delta:            p = p_cauchy * delta / np.linalg.norm(p_cauchy)        else:            d = p_newton - p_cauchy            a = d @ d            if a < 1e-12:                p = p_cauchy            else:                b = 2 * (p_cauchy @ d)                c = (p_cauchy @ p_cauchy) - delta ** 2                tau = (-b + np.sqrt(max(b * b - 4 * a * c, 0))) / (2 * a)                p = p_cauchy + tau * d        actual = rosen(x) - rosen(x + p)        predicted = -(g @ p + 0.5 * p @ H @ p)        rho = actual / max(predicted, 1e-12)        if rho > eta:            x = x + p        if rho > 0.75:            delta = min(2 * delta, 10.0)        elif rho < 0.25:            delta = max(0.25 * delta, 1e-6)        history.append(x.copy())    return x, history if __name__ == "__main__":    x_opt, hist = trust_region(np.array([-1.2, 1.0]))    print("最优解 x =", x_opt)    print("函数值 f(x) =", rosen(x_opt))    print("迭代轮数 =", len(hist) - 1)

1. p_newton = np.linalg.solve(H, -g)解线性方程组得到牛顿方向，相当于“手电筒草图上指向最低点的激进落点”。
2. p_cauchy = p_unit * min(delta, gnorm / denom)构造柯西点：沿最陡方向走最优步长，但保证不越出半径。
3. if np.linalg.norm(p_newton) <= delta:牛顿点刚好在光圈内，那就直接走最理想的牛顿步。
4. rho = actual / max(predicted, 1e-12)计算实际下降与预测下降的比值，这就是“脚感 vs 预判”的评分。
5. if rho > 0.75: delta = min(2 * delta, 10.0)模型很准，把手电筒光圈放大，步子可以迈更大。
6. elif rho < 0.25: delta = max(0.25 * delta, 1e-6)模型失真，立刻收缩光圈，避免踩空。

常见误区

面试题