约束优化在机器学习里怎么用

可视化演示

展示SVM间隔最大化、L1与L2正则化约束区域对比及KKT最优性条件，交互切换三种模式探索约束优化理论。

约束优化基础

设计师给老王看的“理想之家”效果图，沙发够大、投影够亮，可老王一算账：总价超预算一倍，还碰了承重墙。理想方案好是好，可惜不在“允许范围”内。老王把预算上限、户型红线、物业规定全列出来，这些条件圈出一个允许区域——数学上叫可行域（feasible region）。

机器学习的训练过程也一样：我们要最小化损失函数 f(x)，x 是模型参数，但 x 不能乱跑，必须待在约束圈出的可行域里。等式约束 h_i(x)=0 像“家具面积必须恰好占 60%”，不等式约束 g_j(x)≤0 像“花费不能超预算”。深度学习里的权重归一化、正则预算、公平性比例，几乎都能装进这个框架。

写成标准形式就是下面这个优化问题。注意：自由解（不考虑约束的最优点）常常落在可行域之外——这正是约束优化的核心矛盾。

$$\displaystyle \min_{x \in \mathbb{R}^n} f(x) \quad \text{s.t.} \quad h_i(x) = 0\;(i=1,\ldots,p), \quad g_j(x) \leq 0\;(j=1,\ldots,q)$$

1. min 符号：让目标函数 f(x) 尽可能小，对应装修中让“不满意程度”最低。

$$\min$$

2. 决策变量 x：x 是 n 维向量，在机器学习里就是模型参数（权重），对应老王每件家具的尺寸与位置。

$$x \in \mathbb{R}^n$$

3. s.t.：subject to 的缩写，读作“在……的约束之下”，后面的内容就是规则本身。

$$\text{s.t.}$$

4. 等式约束：h_i(x)=0 是必须严格满足的等式，像“儿童房面积必须恰好占全屋 30%”，一条都不能差。

$$h_i(x) = 0,\; i = 1, \ldots, p$$

5. 不等式约束：g_j(x)≤0 是更常见的约束，像“总花费 ≤ 预算”，SVM、L1、公平性里几乎都是它。

$$g_j(x) \leq 0,\; j = 1, \ldots, q$$

老王盯着效果图叹气：再好的设计，够不着可行域就是废纸。约束优化教他的第一课：先画可行域，再谈最优。

SVM间隔最大化

老王家客厅要同时容纳儿童活动区与会客区。他在地上贴了两条胶带，中间留出一条“安全走道”——走道越宽，孩子跑闹、客人走动就越不容易互相打扰。可走道再宽，总不能把沙发挤到阳台去，于是他要求所有家具都退到胶带外侧至少 30 公分。

SVM（支持向量机）做的就是同样的事：给两类样本找一条分界线，使两类之间的“走道”（间隔，margin）最宽。但分界线不能乱画——所有样本必须被正确分类，并且离分界线至少一个单位距离。这个“至少一个单位”就是约束。

把“间隔最大”翻译成数学：分界线 w^T x + b = 0，间隔宽度为 2/||w||，最大化间隔等价于最小化 1/2||w||²。

$$\displaystyle \min_{w,b} \frac{1}{2}\|w\|^2 \quad \text{s.t.} \quad y_i\bigl(w^T x_i + b\bigr) \geq 1, \quad i = 1, \ldots, m$$

1. 间隔目标：最大化间隔 2/||w|| 等价于最小化 1/2||w||²，平方与系数是为了求导方便。

$$\min_{w,b} \frac{1}{2}\|w\|^2$$

2. 法向量 w：w 决定分界线的方向，||w|| 越小间隔越宽，就像走道越宽需要胶带越“直”。

$$w$$

3. 函数间隔：w^T x_i + b 的符号判断样本在哪一侧，绝对值表示离分界线的远近。

$$w^T x_i + b$$

4. 标签 y_i：y_i ∈ {+1, −1} 表示两类，乘上函数值后要求 ≥1，等于“必须分对且离分界线至少 1 个单位”。

$$y_i = +1 \text{ 或 } -1$$

5. 逐样本约束：i=1,…,m 表示每个样本都要满足这条不等式，漏掉一个，走道就白划了。

$$y_i (w^T x_i + b) \geq 1,\; i = 1, \ldots, m$$

老王发现，决定走道宽度的不是所有家具，而是紧贴胶带的那几件——这就是支持向量。模型参数再多，真正“卡住”约束的只有少数几个样本。

L1正则稀疏性

预算被砍一半，老王重新选家具。方案 A：沙发、投影、餐桌全换成便宜款，每样都降级。方案 B：把投影仪和跑步机直接划掉，集中预算买一张好沙发。老王选了 B——家里东西少了，反而清爽。

方案 A 是 L2 正则：所有系数等比缩小，谁也不清零。方案 B 是 L1 正则：部分系数直接被压成 0，得到“稀疏解”。写成优化问题：求回归系数 w 时，给 w 加一个“预算帽” ||w||₁ ≤ C。

为什么 L1 会归零而 L2 不会？因为可行域形状不同。L1 的 ||w||₁ ≤ C 是菱形，有尖角立在坐标轴上；L2 的 ||w||₂² ≤ C 是圆球，处处圆滑。损失函数的等高线第一次碰到可行域时，碰到菱形多半在尖角上——尖角处某些 w_j=0。

$$\displaystyle \min_{w} \frac{1}{2}\|y - Xw\|^2 \quad \text{s.t.} \quad \|w\|_1 \leq C$$

1. 拟合损失：||y − Xw||²/2 是预测与真实的残差平方和，衡量模型拟合得好不好。

$$\min_w \frac{1}{2}\|y - Xw\|^2$$

2. 系数向量 w：每个 w_j 表示第 j 个特征的重要性，是老王购物清单上的每件家具。

$$w = (w_1, \ldots, w_d)^T$$

3. L1 范数：||w||₁ = Σ|w_j|，把所有系数的绝对值加起来，相当于装修总预算。

$$\sum_{j=1}^{d} |w_j|$$

4. 预算上限 C：C 越小，模型越穷，越必须砍掉不重要的特征，稀疏解越明显。

$$\lVert w \rVert_1 \leq C$$

“断舍离”让老王的钱花在刀刃上，L1 让模型把能力集中在真正有信息的特征上——顺便带来了可解释性。这就是为什么高维场景首选 L1。

公平性约束

老王有两个孩子，分房必须公平。他定了死规矩：不管总面积多大，两个孩子房间面积必须一模一样。这条规矩让设计师挠头——但它不是道德口号，而是一条硬性约束，写进合同。

机器学习里的公平性约束同理。比如信贷模型预测“是否放贷”，如果对男女群体给出不同的正预测率，就涉嫌歧视。把“公平”公式化：让不同受保护属性组 A 的正预测概率相等，这就是统计均等（Statistical Parity）。

于是训练变成：在损失最小化的同时，限制模型在两组间的预测差异。更严格的机会均等（Equalized Odds）还要求“真实标签相同的人，预测表现也相同”。

$$\displaystyle \min_{\theta} \mathcal{L}(\theta) \quad \text{s.t.} \quad \mathrm{P}\bigl(\hat{y}=1 \mid A=0\bigr) = \mathrm{P}\bigl(\hat{y}=1 \mid A=1\bigr)$$

1. 训练损失：L(θ) 是模型在训练集上的损失（如交叉熵），对应“客厅舒适度”。

$$\min_\theta \mathcal{L}(\theta)$$

2. 预测 ŷ：ŷ=1 表示模型给出正预测（如“批准贷款”）。

$$\hat{y} = 1$$

3. 受保护属性 A：A 是性别、族群等敏感属性，A=0 与 A=1 是两组对照人群。

$$A \in \{0, 1\}$$

4. 统计均等：约束 A=0 组与 A=1 组的正预测率相等，就是“房间面积必须一样”的数学写法。

$$\mathrm{P}(\hat{y}=1 \mid A=0) = \mathrm{P}(\hat{y}=1 \mid A=1)$$

老王发现，公平约束和“客厅最舒适”经常打架：面积一样，功能就受限。约束优化不消除矛盾，而是给出矛盾的最优折中点——影子价格会告诉你公平到底“值多少钱”。

对抗扰动球

老王所在城市多地震，装修公司建议：家具上防震支架，花瓶加固定胶。老王的逻辑很简单——花小钱，保证地震轻晃时整屋不乱。他不是随便晃一晃测试，而是按“最坏晃动”来加固。

对抗训练（adversarial training）同理：模型在干净数据上再准，输入加一点肉眼不可见的扰动 δ 就可能认错。攻击者在扰动球 ||δ||_p ≤ ε 内寻找最坏扰动；防御者（模型）要在最坏扰动下仍然损失最小。这就是 min-max 结构。

写成目标函数：外层 min 是训练参数，内层 max 是寻找最坏扰动。这个结构和“老王按最坏地震波做加固”是同一个逻辑。

$$\displaystyle \min_{\theta} \mathbb{E}_{(x,y)\sim\mathcal{D}}\left[\max_{\|\delta\|_p \leq \varepsilon} \ell\bigl(f_\theta(x+\delta), y\bigr)\right]$$

1. 期望损失：对所有训练样本 (x,y) 求平均损失，是模型在数据分布上的整体表现。

$$\mathbb{E}_{(x,y) \sim \mathcal{D}}[\,\cdot\,]$$

2. 内层 max：攻击者在扰动球内寻找让损失最大的 δ，代表“按最坏的地震波测试”。

$$\max_{\|\delta\|_p \leq \varepsilon} \ell(f_\theta(x+\delta), y)$$

3. 扰动球约束：||δ||_p ≤ ε 限定扰动很小，肉眼不可见但足以骗过模型。

$$\|\delta\|_p \leq \varepsilon$$

4. 外层 min：训练参数 θ，让最坏扰动下的损失也尽量小，这就是“防震加固”。

$$\min_\theta \mathbb{E}\bigl[\max \ell\bigr]$$

老王多花两千块买防震支架，换来的是地震时整屋资产安全；对抗训练多花几倍算力，换来的是恶意输入下模型依然可用。扰动球半径 ε 就像防震等级，定得越大越稳，也越贵。

拉格朗日对偶

老王老婆问：如果预算再砍一万块，舒适度要损失多少？老王算了半天，挤出两个字：“心疼”。其实这个“每单位资源对应的价值变化”有个数学名字——影子价格。在约束优化里，它就是拉格朗日乘子。

把每个约束乘以对应的乘子，再加进目标函数，就得到拉格朗日函数 L。原本“目标 + 约束”的难题，被改造成一个无约束问题。对偶理论更进一步：先固定乘子对 x 求最小，再对乘子求最大，得到的对偶问题常常比原问题好解。

对偶问题始终给出原问题最优值的下界；当强对偶成立（凸问题 + 约束规格），对偶间隙为零，两个问题完全等价。

$$\displaystyle L(x,\lambda,\mu) = f(x) + \sum_{i=1}^{p} \lambda_i h_i(x) + \sum_{j=1}^{q} \mu_j g_j(x)$$

1. 拉格朗日函数：把约束乘以乘子后加进目标，得到一个无约束的 L。

$$L(x, \lambda, \mu) = f(x) + \sum_{i=1}^{p} \lambda_i h_i(x) + \sum_{j=1}^{q} \mu_j g_j(x)$$

2. 等式乘子 λ：λ_i 可正可负，表示“面积红线”这条等式约束每紧一单位带来的价值变化。

$$\lambda_i \in \mathbb{R}$$

3. 不等式乘子 μ：μ_j ≥ 0，表示“预算约束”的影子价格，只有约束绷紧才有正价格。

$$\mu_j \geq 0$$

4. 对偶问题：先对 x 求最小、再对乘子求最大，给出原问题最优值的下界。

$$\max_{\lambda, \mu \geq 0} \min_x L(x, \lambda, \mu)$$

老王从此会算账：影子价格高，说明预算卡得太紧，“借钱装修”值得；影子价格低，说明约束宽松，不必为它折腾。对偶就是帮工程师判断“哪个约束值得优化”。

KKT条件

装修验收那天，老王请了三个检查员。第一个查“力平衡”：你明明想继续往理想方案方向挪家具，墙的反推力是否正好顶住你？第二个查“不越界”：有没有超预算、砸承重墙？第三个查“松紧”：如果某项预算还没用完，对应的“心疼程度”必须为零。

这三个检查员在优化理论里合称 KKT 条件，是约束最优点的“竣工验收标准”。满足它们，x* 才可能是最优点；在凸问题里，满足 KKT 就一定是最优点。

KKT 有四条：平稳性（stationarity）、原问题可行性、对偶可行性、互补松弛（complementary slackness）。

$$\displaystyle \begin{cases} \nabla f(x^*) + \sum_{i=1}^{p}\lambda_i \nabla h_i(x^*) + \sum_{j=1}^{q}\mu_j \nabla g_j(x^*) = 0 \\[2mm] h_i(x^*) = 0,\; g_j(x^*) \leq 0 \\[2mm] \mu_j \geq 0 \\[2mm] \mu_j g_j(x^*) = 0 \end{cases}$$

1. 平稳性：在最优处，目标梯度与所有约束梯度的加权和抵消——墙的反推力顶住了你前进的力。

$$\nabla f(x^*) + \sum_i \lambda_i \nabla h_i(x^*) + \sum_j \mu_j \nabla g_j(x^*) = 0$$

2. 原问题可行：x* 必须在可行域内/边界上，没超预算、没砸承重墙。

$$h_i(x^*) = 0,\; g_j(x^*) \leq 0$$

3. 对偶可行：所有不等式乘子非负，罚款单价不能是负数。

$$\mu_j \geq 0$$

4. 互补松弛：μ_j 与 g_j(x*) 至少一个为 0——约束没绷紧不收钱，绷紧了才定价。

$$\mu_j g_j(x^*) = 0$$

三个检查员一盖章，老王才签收。KKT 的好处是：不用穷举所有方案，只要检查这四条，就能确认当前方案是否“在规则内做到了最好”。

求解算法

方案定了，怎么施工？老王有三种办法。办法一：每挪一步家具就量一下尺，出界就退回来——投影梯度法。办法二：在账本上写“超预算每万元罚一千块”——惩罚法。办法三：老王管设计，老婆管预算，各改各的清单，每晚对一次账——ADMM。

投影梯度法最直观：先按梯度下降更新参数，再把点“投影”回可行域。公式一眼就能看懂——先走一步，踩线就退回界内。

惩罚法把约束变成损失里的惩罚项，罚得越狠越接近硬约束；ADMM 把大问题拆成子问题交替求解，适合大规模分布式场景。实践中 SVM 常用 SMO，L1 常用坐标下降/近端梯度，本质都是“在可行域附近做文章”。

$$\displaystyle x_{k+1} = \mathcal{P}_{\mathcal{C}}\bigl(x_k - \eta_k \nabla f(x_k)\bigr)$$

1. 当前方案 x_k：第 k 轮迭代的参数，老王第 k 版家具布置图。

$$x_k$$

2. 梯度 ∇f(x_k)：损失下降最快的方向，告诉老王“该往哪挪”。

$$\nabla f(x_k)$$

3. 梯度下降步：沿负梯度走一小步 η_k，得到新方案；这一步可能出界。

$$x_k - \eta_k \nabla f(x_k)$$

4. 投影算子 P_C：把出界的点拉回可行域，像“踩线就退回界内”。

$$\mathcal{P}_{\mathcal{C}}(\cdot)$$

5. 完整迭代：先走再投影，反复进行直到收敛到边界上的最优。

$$x_{k+1} = \mathcal{P}_{\mathcal{C}}\bigl(x_k - \eta_k \nabla f(x_k)\bigr)$$

老王和老婆对账三天，终于达成一致：不超预算，又接近理想。好的求解算法就是让“理想”与“规则”两个力反复拉锯，最后收敛到可行域边界上那个唯一的平衡点。

AI 应用场景

Python 演示

import numpy as np def project_l1_ball(w, budget):    """把 w 投影到 L1 球 {w : ||w||_1 <= budget} 内"""    if np.abs(w).sum() <= budget:        return w    mu = np.sort(np.abs(w))[::-1]    cum = np.cumsum(mu)    rho = np.nonzero(mu * np.arange(1, len(mu) + 1) > cum - budget)[0][-1]    theta = (cum[rho] - budget) / (rho + 1)    return np.sign(w) * np.maximum(np.abs(w) - theta, 0) def l1_constrained_sgd(X, y, budget, lr=0.01, n_iter=500):    """投影梯度法求解: min ||Xw - y||^2  s.t. ||w||_1 <= budget"""    n = X.shape[1]    w = np.zeros(n)    for _ in range(n_iter):        grad = 2 * X.T @ (X @ w - y)        w = project_l1_ball(w - lr * grad, budget)    return w if __name__ == "__main__":    np.random.seed(42)    X = np.random.randn(200, 10)    w_true = np.zeros(10)    w_true[:3] = [3.0, -2.0, 1.5]    y = X @ w_true + 0.1 * np.random.randn(200)    w = l1_constrained_sgd(X, y, budget=3.0)    print("权重:", np.round(w, 3))    print("非零特征数:", int((np.abs(w) > 1e-6).sum()))    print("L1 范数:", round(np.abs(w).sum(), 3))

1. grad = 2 * X.T @ (X @ w - y)残差平方和的梯度闭式解，告诉模型“该往哪挪”。
2. w = project_l1_ball(w - lr * grad, budget)先做梯度下降，再投影回 L1 球，这就是投影梯度法的核心。
3. mu = np.sort(np.abs(w))[::-1]把权重绝对值从大到小排序，准备计算“该砍到哪一档”。
4. rho = np.nonzero(...)[0][-1]找到“预算刚好够用”的拐点位置，即满足条件的最大下标。
5. theta = (cum[rho] - budget) / (rho + 1)算出统一收缩量，高于这个量的系数被削到 0，低于的保留。

常见误区

面试题