信赖域优化方法与策略

可视化演示

\u901a\u8fc7\u4e09\u9636\u6bb5\u4ea4\u4e92\u5c55\u793a\u4fe1\u8d56\u57df\u5b50\u95ee\u9898\u6c42\u89e3\u3001Dogleg\u4e0eCauchy\u70b9\u7b56\u7565\u53ca\u4fe1\u8d56\u57df\u4e0e\u7ebf\u641c\u7d22\u6536\u655b\u5bf9\u6bd4\u3002

核心思想：雾天中的信任范围

登山者站在山腰，浓雾把视线限制在脚边一小块地方。他不敢往看不见的地方大步走，只能先划定一个“我今天相信的范围”，在这个范围内研究地形、找路、迈步。这个范围就是信赖域半径，而范围内用来指路的小地图，就是局部近似模型。每一步都以“不走出信任范围”为前提，因此即使模型不完美，迈出的步子也不会离谱到哪里去。

正式地说，信赖域法在第 \(k\) 次迭代时，以当前点 \(x_k\) 为中心，划定半径为 \(\Delta_k\) 的信任球，然后求解一个带约束的子问题：在球内找一个尝试步 \(\delta_k\)，使得局部模型下降最多。写成数学语言就是

求出尝试步后，登山者实地走一步，对比真实海拔变化与地图预测，再决定下轮是扩大还是缩小信任圈。这个过程循环往复：建图、求步、验证、调整半径。正是“圈内求解、圈外验证”这八个字，构成了信赖域方法的骨架。

局部模型：手绘一张小地图

小地图不可能画出整座山，登山者只关心脚边这一小块。他记下当前海拔，感受脚下的坡度，再弯下腰看看地形是凸起还是凹下，用这三条信息在脑海中拟合出一张局部曲面。这个“拟合曲面”在数学上就是泰勒展开：用当前函数值、梯度向量和曲率信息拼出一个二次模型。

如果 \(B_k\) 取真实 Hessian，模型就是二阶泰勒展开；如果只是正定近似（比如 BFGS 校正），模型依然可用。关键在于：地图糙一点没关系，只要信任半径足够小，误差就不会失控。这就像登山者的小地图不需要精确到每块石头，只要脚下几米内方向靠谱就够用了。

半径更新：走对了扩大，走错了收脚

登山者每迈一步，都会立刻看海拔计：真实下降有没有达到小地图的预期？如果实际下降几乎等于预测，说明小地图非常可靠，下次可以走得更远一点；如果实际下降远小于预测，甚至不降反升，说明小地图在撒谎，必须把信任范围缩小。这个用来衡量“地图可靠度”的比值，就叫增益比。

标准更新规则很像人的直觉：当 \(\rho_k < 0.25\) 时，说明模型预测不准，把半径缩小一半；当 \(\rho_k > 0.75\) 且试步已经踩到了半径边界，说明模型很可靠，把半径扩大一倍（或乘一个小于 2 的因子）。介于中间的，维持半径不变。如果 \(\rho_k \le 0\)，这一步直接被拒绝，登山者收回脚、缩小信任圈后再试。这套规则让算法像一个懂得“吃一堑、长一智”的向导：信任不是无条件的，它需要用真实反馈来动态管理。

子问题求解：圈内选路的两种策略

信任圈画好之后，登山者面临一个具体问题：在这个圈里，沿哪个方向走、走多远最好？最朴素的做法是沿眼前最陡的下坡方向走到圈边或走到圈内最低处，这就是柯西点。柯西点计算简单，只需要梯度和一个标量曲率，适合快速决策。

柯西点虽然便宜，但有时过于保守，只沿一条直线走，错过了圈内更优的弯道。狗腿法（Dogleg）则更聪明：先朝最速下降方向走到其极小点，再从这里转向牛顿步方向，形成一条“狗腿”状的折线，然后找到折线与信任圈边界的交点。

其中未约束的最速下降极小点 \(\delta^U = -\dfrac{g_k^\top g_k}{g_k^\top B_k g_k} g_k\)，牛顿步 \(\delta^B = -B_k^{-1}g_k\)。

当牛顿步落在圈内，直接使用它，精确又高效；当牛顿步超出圈子，就用折线与圆边界的交点作为步长。这样既保留了牛顿法的快速收敛特性，又被信任半径兜住了底，是效率与精度之间的经典折中。

对比线搜索：先定方向还是先定范围

另一位登山者的习惯是：先认准一个方向，然后在这条线上反复迈小步试探，一下迈大了就往回缩，一下迈小了就往前伸，直到找到这次“最合适的一步”。这就是线搜索的思路——方向先行、步长随行。信赖域则相反：先锁定一个“最大允许迈出的距离”，再在圆圈内自由寻找最优方向和步长。一个是“选定路线再找里程”，一个是“给定里程再选路线”。

线搜索方法为了保证收敛，通常要求搜索方向与最陡下降方向的夹角不能太大。这个要求可以写成

信赖域不需要这个“方向保险”。它用半径把步长约束住，即使海森矩阵不定、方向并非严格下坡，只要在信任圈内优化模型，机制也会自动引导走向下降点。这就像雾天里，线搜索者固执地沿着一个方向来回挪，而信赖域者每步都在可见范围内重新选路，自然更皮实、更稳健。

非凸与病态：复杂地形中的生存守则

真正的山里不止一个山谷，还有鞍部、悬崖，以及狭长的峡谷。目标是凸函数时，模型到处是“碗状”，怎么走都能到碗底；但现实世界的目标函数往往非凸，Hessian 矩阵可能既不正定也不半正定，存在负曲率方向。对线搜索而言，不定 Hessian 会让牛顿方向可能不是下坡方向，从而引发麻烦；而信赖域因为子问题自带半径约束，模型再“离谱”也翻不出圈外，反而能利用负曲率方向快速滑下山脊。这正是信赖域在非凸问题中更鲁棒的深层原因。

病态问题同样如此。想象一条又窄又长的峡谷，沿着峡谷底走才高效，稍微偏离就会撞上陡壁。此类问题 Hessian 条件数极大，不同方向曲率差异悬殊，线搜索容易在山谷两侧反复横跳。信赖域通过限制步长，把每次移动压在“可信范围”内，模型误差不会因大步而放大。在标准光滑性假设下，信赖域法能证明收敛到一阶稳定点：

所以，在非凸和病态问题这个“浓雾山群”里，信赖域就像那个包里永远装着地图和海拔计的向导：地形再怪，他也能靠小范围试探与反馈修正，一步步安全走到山脚。

工程实践：把登山经验变成参数

如果把信赖域方法交给一位工程师，他需要回答三个问题：一开始把信任圈画多大？何时扩大、何时缩小？什么时候宣布“到达目的地”？这些问题对应算法的三个关键设计点：初始半径 \(\Delta_0\)、最大半径 \(\Delta_{\max}\)、收缩和扩张的阈值（常用 \(\eta_1=0.25,\eta_2=0.75\)），以及停止准则。

初始半径不能拍脑袋取太大。太大会导致模型失真，第一步就被拒绝，白白浪费计算；太小则像裹脚走路，收敛很慢。实践中一般取 \(\Delta_0\) 为一个中等尺度（比如 1 或参数空间直径的 \(1\%\)），并设立 \(\Delta_{\max}\) 防止半径无限膨胀。停止条件则通常写成

这些工程经验也扩展到了更广阔的 AI 领域。强化学习中的 TRPO 算法用 KL 散度作为“信任域”，限制策略网络每次更新的分布变化；大模型微调时给更新向量加范数约束，本质上是把参数空间当作一座山，防止一步跨进沟里。由此看来，信赖域不只是一种算法，更是一种“对未知保持谦逊、用反馈动态调整”的工程哲学。

AI 应用场景

Python 演示

import numpy as np def rosen(x):    return (1 - x[0]) ** 2 + 100 * (x[1] - x[0] ** 2) ** 2 def rosen_grad(x):    dx = -2 * (1 - x[0]) - 400 * x[0] * (x[1] - x[0] ** 2)    dy = 200 * (x[1] - x[0] ** 2)    return np.array([dx, dy]) def rosen_hessian(x):    h11 = 2 - 400 * (x[1] - 3 * x[0] ** 2)    h12 = -400 * x[0]    h22 = 200    return np.array([[h11, h12], [h12, h22]]) def cauchy_point(g, B, delta):    ng = np.linalg.norm(g)    if ng < 1e-12:        return np.zeros_like(g)    gBg = g @ B @ g    tau = 1.0 if gBg <= 0 else min(1.0, ng ** 3 / (delta * gBg))    return -tau * delta / ng * g def trust_region(max_iter=100, delta0=1.0):    x = np.array([-1.2, 1.0])    delta = delta0    delta_max = 2.0    for it in range(max_iter):        g = rosen_grad(x)        if np.linalg.norm(g) < 1e-6:            break        B = rosen_hessian(x)        s = cauchy_point(g, B, delta)        if np.linalg.norm(s) < 1e-12:            break        pred = -(g @ s) - 0.5 * (s @ B @ s)        f_old = rosen(x)        f_new = rosen(x + s)        rho = (f_old - f_new) / pred if abs(pred) > 1e-12 else 0.0        if rho > 0.25:            x = x + s        if rho > 0.75 and np.linalg.norm(s) > 0.8 * delta:            delta = min(delta_max, 2.0 * delta)        elif rho < 0.25:            delta = max(0.01, 0.5 * delta)        print("iter %2d  f=%.3e  ||g||=%.3e  delta=%.3f  rho=%.2f" % (it, f_new, np.linalg.norm(g), delta, rho))    return x if __name__ == "__main__":    x_star = trust_region()    print("最优解:", x_star)    print("函数值:", rosen(x_star))

1. s = cauchy_point(g, B, delta)在信任半径内沿负梯度方向找模型最优位置，是信赖域子问题的最简求解器。
2. gBg = g @ B @ g计算梯度方向上的曲率，判断要不要提前“刹车”避免走出圈内最低点。
3. tau = 1.0 if gBg <= 0 else min(...)负曲率时放心走到边界，正曲率时在内部最佳点停。
4. pred = -(g @ s) - 0.5 * (s @ B @ s)用局部模型预测下降量，后续要与真实下降比较。
5. rho = (f_old - f_new) / pred实时计算增益比，这是决定接受/拒绝和半径更新的核心。
6. if rho > 0.25: x = x + s只要有明显下降就迈出这一步，避免模型噪声导致的无效更新。
7. elif rho < 0.25: delta = max(0.01, 0.5 * delta)预测不准就缩小信任圈，宁可慢一点也不要走错。

常见误区

面试题