投影梯度：走完再拉回可行域

可视化演示

动态对比流水线与标量执行方式的指令吞吐量差异，展示取指、译码、执行、访存、写回五个阶段的并行执行流程。

问题由来

小满第一次冲出沙坑时，妈妈就明白了：光靠喊“回来”是没有用的，孩子眼里只有糖果。于是她立下规矩——只能在沙坑里玩。这个“沙坑”就是约束，而它圈定的合法区域，在数学里叫可行域。AI 训练里到处是这样的沙坑：播放次数不能为负、权重向量的长度不能超过某个上限、投资比例必须加起来等于 100%。

如果不管约束，直接用朴素梯度下降会怎样？梯度会一路把参数推向无约束最优解——那个点可能远在沙坑外的马路上。比如目标函数是 $\displaystyle f(x)=\lVert x-a\rVert^2$，最优解在 $a$ 点；可如果约束是 $\displaystyle \lVert x\rVert\le 1$ 而 $a$ 的模长大于 1，梯度下降只会带着你义无反顾地冲向禁区。

所以必须给朴素梯度加一个“刹车＋纠偏”：走一步之后，如果越界就拉回来。这个直觉很朴素——先当没有约束那样走一步，再看结果是否出界，出界就抱回坑边最近的位置。这种“先走再拉回”的思想，就是投影梯度的雏形。

回到比喻：小满每次朝糖果跑，妈妈不阻止他的“方向感”，只是在他越界的瞬间把他抱回坑内最近处。几次之后，小满学会了一个道理——朝着糖果冲没错，但脚底下得踩着沙坑的边界冲。投影梯度的所有神奇，都从这个朴素的画面展开。

算法流程

妈妈很快总结出一套固定流程：第一步，小满可以尽情朝糖果的方向迈出一大步（这一步不一定安全）；第二步，如果他跑出了沙坑，就把他抱回来，稳稳放在坑边离他最近的位置；第三步，确认站稳后，继续让他朝糖果跑。如此循环，直到小满站在边界上再跑不出新花样为止。

这套流程的数学版本只有一行：

其中 $x_k$ 是第 $k$ 次迭代的位置，$\eta$ 是步长（孩子每步迈多大），$\nabla f(x_k)$ 是梯度（糖果所在的方向），$P_C(\cdot)$ 是投影算子（妈妈抱回的动作）。整个式子做两件事：先算括号里的“走一步”，再算外面的“拉回来”。

$$P_C(\cdot)$$ 是这行公式的灵魂，它回答一个问题：如果孩子跑出了沙坑，该把他放回哪里？答案极其简洁——放在沙坑里离他越界位置最近的那个点。这个点一定是沙坑边界上的某处，因为越界点已经在外头了，离它最近的合法点只能贴着边界。

小满最终停下来的位置，正是沙坑边界上朝向糖果的那个点。算法也一样：迭代到梯度步之后投影不变（或变化极小）时，就认为找到了可行域内的最优解。整个流程只有“走”和“拉”两个动作，没有任何花哨的步骤——这正是投影梯度最大的优点：实现极其简单。

投影几何

为什么妈妈总是能把小满放在“最近的坑边”而不是随便哪里？因为“最近”在几何上是一个非常优美的概念。把孩子越界的位置记作 $y$，沙坑（可行域）记作 $C$，那么投影的结果就是 $C$ 中离 $y$ 距离最近的点。用公式说：

这个式子读作：在 $C$ 里找一个点 $x$，使得它到 $y$ 的欧氏距离最短。注意两点。第一，如果 $y$ 本来就在 $C$ 内，那么最近点就是它自己，$P_C(y)=y$——孩子没越界，妈妈根本不用出手。第二，投影有一个重要的几何性质：$y$ 到 $P_C(y)$ 的连线，严格垂直于可行域在投影点处的支撑面。想象小满的手伸出栏杆，妈妈握着他的手往回拉，拉绳的方向一定垂直于栏杆——这样才最短，也最自然。

这个性质叫正交投影，它保证了投影是“直的拉回”而不是“斜着拽回”。斜着拽会引入多余的横向移动，可能把小满从本该到达的位置带偏，影响收敛。数学上正是因为连线的正交性，投影才成为所有“拉回”操作中最不改变既定方向的方案。

沙坑的栏杆不是任意形状，投影总能把孩子放到“沿着垂直方向望过去最近的坑边”。这解释了投影梯度的稳健性：即使小满每次冲出去的方向千奇百怪，妈妈总能精准地把他放回那个唯一的最短回程点——每一步都不浪费，每一步都朝着目标前进。

常见投影

如果沙坑的形状千奇百怪，妈妈每次都要重新琢磨“最近点在哪”，那这套方法就行不通了。幸运的是，实际工作里最常见的几种沙坑，都能用一张公式表直出答案。第一个是箱约束：每个坐标都限制在一个区间 $[l_i, u_i]$ 内，比如“播放权重不低于 0 且不高于 1”。它的投影就是把每个坐标单独裁剪（clamp）到区间里：

第二个是范数球约束：点必须在以原点为中心、半径为 $r$ 的球内，比如“权重向量的模长不超过 1”。它的投影稍微巧妙一点：如果点没越界就原样返回；越界了，就把整个向量等比缩放到球的边界上，方向保持不变：

这两条公式的共同点是：每个都是闭式解（closed form），一行算出，不需要任何内部迭代。除它们之外，非负象限 $x\ge 0$ 的投影就是把负坐标直接清零——本质是箱约束的下界特例；L1 球（菱形）的投影则需要先排序再裁剪，稍复杂但也是成熟算法。这些“好投影”集合有一个共同品质：计算代价跟一次梯度步差不多，都是 $O(n)$ 量级。

球约束公式再看一眼：

妈妈带小满换过两种沙坑：方形的用裁纸刀式的“裁剪”，圆形的用绳子式的“缩放”。口诀很简单：方形横平竖直，逐坐标切；圆形只保方向，整体压缩。这些公式看起来不起眼，却是投影梯度能从理论走向工程的关键基石。

收敛性质

妈妈渐渐发现，小满能不能安全停在坑边，取决于他每步迈多大。步子太小，半天挪不到位置；步子太大，虽然每次都抱回来了，但总在边界附近来回弹，甚至越弹越远。这个“步子”就是步长 $\eta$，而让算法不乱的尺度，由目标函数的“脾气”决定——数学上叫 L-光滑：

这个式子的意思是：两点离得越近，它们的梯度差越被 $L$ 倍的距离压住。$L$ 越大，函数变化越陡峭，步长就必须越小。理论保证：只要步长满足 $\eta \le 1/L$，每一步目标函数都会稳定下降，不会出现“跑过头”的抖动。

有了这个保证，整条迭代序列会收敛到约束问题的最优解，而且速率有明确公式：

分母是 $2k$，意思是误差按 $1/k$ 的速度收缩——迭代 100 步，误差大约剩 1/100。这跟无约束梯度下降一个量级，说明投影这个“抱回”动作并没有显著拖慢收敛。有趣的是，约束问题的最优解通常就落在边界上：小满最终总是贴在坑边，而不是沙坑中央。

回到沙坑：妈妈给小满定了规矩——“每次只迈出刚好能停住的一小步”。于是小满再也不会在栏杆边弹来弹去，而是稳稳地一圈圈靠近，最后贴在朝向糖果的边界点上。数学里那个 $1/L$ 的步长上限，就是妈妈那句“小步走”的精确翻译。

典型应用

最后一个问题：谁真的在用投影梯度？答案是——凡是“沙坑好投影”的地方都在用。先看名声最大的非负矩阵分解（NMF）：把用户-物品打分矩阵分解成两个非负因子，因为打分和强度不可能是负数。目标写成：

这里的约束集是非负象限，投影就是逐元素取 $\max(\cdot, 0)$——一行代码的事。因此每轮迭代只需：分别对 $W$、$H$ 做一次梯度步，再把负值清零。对百万级矩阵，这种“便宜投影”的算法能在 GPU 上轻松跑几千步。

第二个常见场景是 L1 球约束：给参数加一个“总预算” $\lVert \beta \rVert_1 \le t$，希望大部分系数被压成 0，得到稀疏模型。L1 球的投影需要排序后做一次平移裁剪，虽然比箱约束麻烦一点，但仍然是高效的闭式方法。第三个场景是投资组合：权重必须非负且加和为 1，投影到单纯形（simplex）后同样可以一路梯度迭代。

这些场景共享同一个特征：可行域的形状“好抱”。非负象限像一面墙，球像一圈圆栏杆，单纯形像一块三角形的沙坑——它们的投影闭式可得，于是“走一步、抱一次”的循环可以在大规模数据上飞速运转。如果有一天你遇到一个投影本身就要解优化问题的约束集，请记住：那时该换工具了，投影梯度只爱“好抱的沙坑”。

AI 应用场景

Python 演示

import math def objective(x):    # 目标：中心在 (2, -1) 的二次函数    return (x[0] - 2.0) ** 2 + 3.0 * (x[1] + 1.0) ** 2 def gradient(x):    # 解析梯度    return [2.0 * (x[0] - 2.0), 6.0 * (x[1] + 1.0)] def project_ball(x, radius=1.0):    # 投影到半径 radius 的球内：没越界原样返回，越界等比缩回    norm = math.sqrt(x[0] ** 2 + x[1] ** 2)    if norm <= radius:        return x    scale = radius / norm    return [scale * x[0], scale * x[1]] def projected_gradient(x0, steps=500, lr=0.1, radius=1.0):    # 投影梯度主循环：先走梯度步，再投影拉回    x = list(x0)    for k in range(steps):        g = gradient(x)        x = [x[i] - lr * g[i] for i in range(2)]        x = project_ball(x, radius)    return x if __name__ == "__main__":    x_star = projected_gradient([0.0, 0.0])    true_x = [2.0 / math.sqrt(5.0), -1.0 / math.sqrt(5.0)]    print("投影梯度解:", [round(v, 6) for v in x_star])    print("理论最优解:", [round(v, 6) for v in true_x])    print("模长:", round(math.sqrt(x_star[0] ** 2 + x_star[1] ** 2), 6))

1. def gradient(x):手写解析梯度，这是“孩子朝糖果冲”的方向依据。
2. def project_ball(x, radius=1.0):核心中的核心：妈妈抱回动作的数学实现。
3. if norm <= radius:已经在沙坑内就不需要抱回，原样返回。
4. scale = radius / norm越界时按比例整体缩放，方向不变，这正是圆沙坑的投影几何。
5. x = [x[i] - lr * g[i] for i in range(2)]每个坐标沿负梯度方向走一步。
6. x = project_ball(x, radius)走完立即拉回，两步一循环。
7. true_x = [2.0 / math.sqrt(5.0), ...]手工推导的解析解：把 $(2,-1)$ 归一化到单位圆，用于验证程序。

常见误区

面试题