想象你正在准备一次长途旅行。为了应对各种天气和场合，你把春夏秋冬的衣服全都塞进行李箱，连路边捡到的漂亮石头、酒店顺走的一次性拖鞋也一件不落。箱子终于合上了，但拉链绷得紧紧的，走两步就喘——你背的不是行李，而是一场灾难。机器学习里的“过拟合”就是这种状态：模型把训练数据里的每一点细节都背得滚瓜烂熟，连随机的噪声都当成宝贝记了下来，结果一到新数据面前就彻底崩溃。 那怎么办？聪明人打包时会有两条规矩：要么把所有东西都用压缩袋压扁一点，要么干脆扔掉不重要的东西。这就是 L1 和 L2 正则化的核心思想——给模型的“行李箱”加一个限重规则，逼迫它在“记住数据”和“保持轻便”之间做出取舍。L2 像压缩袋，把每个权重都压小一圈，但谁也不归零；L1 像断舍离，直接把不重要的权重清零。它们的数学原理藏在“圆形”与“菱形”两种约束域里，本文将用打包行李的故事，带你轻松读懂这些概念。

岗位关联

正则化是机器学习调参的核心技能之一。理解 L1/L2 的数学差异，你就能在特征选择、防过拟合、模型部署等真实工作中做出更专业的判断，这也是算法工程师面试的高频考点。

目录
  1. 可视化演示
  2. 过拟合现象
  3. 正则化思想
  4. L2正则化
  5. L1正则化
  6. 几何意义
  7. 惩罚系数
  8. 弹性网络
  9. 实践选择与调优
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示系统处理流水线、实时性能指标曲线及多方案对比分析，包含数据流转、吞吐延迟监控与方案评估。

本节配有交互动效（进入视口后自动加载，约 3KB）。

系统可视化 处理流程：输入→处理→模型→输出 性能监控：实时指标 P=L×T

过拟合现象

出差打包时，你把所有衣服、路边捡的石头、酒店赠品全部塞进箱子，拉链勉强合上，轮子几乎拖不动。箱子在房间里看着“很完美”——每件东西都在里面，但一旦上路，要么拉链崩开，要么你累得半死。机器学习里的“过拟合”正是如此：模型在训练集上表现近乎完美，误差趋近于零，可一到没见过的新数据（测试集）上，表现就一落千丈。

过拟合的本质是模型把训练数据中的随机噪声当成了有意义的信号。它记住了每个样本的具体位置，包括那些纯属偶然的波动，而不是学习背后的真实规律。衡量模型泛化能力时，常用偏差-方差分解：总误差由三部分组成——数据本身的噪声、模型的偏差（欠拟合程度）和方差（对训练集波动的敏感程度）。过拟合对应方差过大：模型像那个塞满石头的行李箱，换一点数据就剧烈晃动。

回到行李箱的比喻：过拟合就是箱子塞得太满、太“贴合”里面的每件杂物，导致上路后寸步难行。正则化要做的，就是给行李加一条“限重”规则，逼它只带真正重要的东西。

Err(x)=噪声+Bias2+Variance\displaystyle \text{Err}(x) = \text{噪声} + \text{Bias}^2 + \text{Variance}
  1. 误差总分解真实预测误差可以拆成三个独立来源——噪声是数据天生携带的、无法消除的部分，偏差衡量模型欠拟合的程度，方差衡量模型过拟合的程度。
    Err(x)=噪声+Bias2+Variance\displaystyle \text{Err}(x) = \text{噪声} + \text{Bias}^2 + \text{Variance}
  2. 偏差项Bias 是模型预测均值与真实值的差距，偏差大说明模型太简单、没学够。
    Bias2=(E[f^(x)]−f(x))2\displaystyle \text{Bias}^2 = (\mathbb{E}[\hat{f}(x)] - f(x))^2
  3. 方差项Variance 衡量模型对训练数据波动的敏感度，方差大说明模型把噪声也学进去了，换一批数据结果就大变。
    Variance=E[(f^(x)−E[f^(x)])2]\displaystyle \text{Variance} = \mathbb{E}[(\hat{f}(x) - \mathbb{E}[\hat{f}(x)])^2]

正则化思想

明白了行李箱不能乱塞之后，出发前你给自己立下规矩：所有行李总重量不能超过 20 公斤。这个限重并不会阻止你带东西，它只是在你整理行李时不断提醒你——“值不值得为这件东西增加重量？”。

正则化的思想完全一致：在模型的损失函数（衡量预测有多准）后面，加上一个“重量罚单”——正则化项。这个惩罚项会随着模型复杂度的增加而变大，模型在优化时就必须在“拟合数据”和“保持简单”之间找平衡。经典的损失函数改造如下：

这就是奥卡姆剃刀原则的数学化表达：如无必要，勿增实体。限重规则让模型在同样能解释数据的前提下，偏向选择更简单的那个。接下来我们要看两种“限重方式”——L2 的压缩袋和 L1 的断舍离——带来的不同结果。

J(w)=Loss(w)+λ Ω(w)\displaystyle J(\mathbf{w}) = \text{Loss}(\mathbf{w}) + \lambda\, \Omega(\mathbf{w})
  1. 损失函数项$\text{Loss}(\mathbf{w})$ 衡量模型预测值与真实值的差距，比如均方误差，越小说明拟合得越好。
    Loss(w)=∑i=1n(yi−wTxi)2\displaystyle \text{Loss}(\mathbf{w}) = \sum_{i=1}^{n} (y_i - \mathbf{w}^{\mathrm{T}}\mathbf{x}_i)^2
  2. 正则化项$\Omega(\mathbf{w})$ 是模型复杂度的度量，权重越大、非零权重越多，惩罚越大。
    Ω(w)=∑j=1p∣wj∣或∑j=1pwj2\displaystyle \Omega(\mathbf{w}) = \sum_{j=1}^{p} |w_j| \quad \text{或} \quad \sum_{j=1}^{p} w_j^2
  3. 惩罚系数$\lambda$ 是限重严格程度——$\lambda$ 越大，模型越倾向“轻装简行”，权重被压得越狠。
    λ>0\displaystyle \lambda > 0

L2正则化

假设你选择用压缩袋打包：每一件衣服都抽掉空气、压扁一点，所有东西都还在箱子里，但整体体积缩小了一圈。这就是 L2 正则化的方式——它给每个权重都“压扁”一点，让所有权重都向零收缩，但没有任何一个权重会被精确地变成零。用这种惩罚的线性回归叫岭回归（Ridge Regression）。

L2 正则化在损失函数后面加上的是所有权重的平方和。平方项的特点是“大权重受罚更重”：一个权重从 0.1 涨到 0.2，惩罚从 0.01 涨到 0.04，增加了 3 倍；而从 0.5 涨到 0.6，惩罚从 0.25 涨到 0.36，增加了快一半。所以模型会尽量把权重控制得均匀且小，而不是让一两个权重特别大。

压缩袋的好处是不会丢掉任何一件可能有用的东西，所有特征都“参与”预测，只是贡献都被调小了一点。这在特征之间相关性较强时尤其稳定——每个特征都分到一点权重，而不是把宝押在个别特征上，因此 L2 让模型更加平滑稳健。

J(w)=∑i=1n(yi−wTxi)2+λ∑j=1pwj2\displaystyle J(\mathbf{w}) = \sum_{i=1}^{n} (y_i - \mathbf{w}^{\mathrm{T}}\mathbf{x}_i)^2 + \lambda \sum_{j=1}^{p} w_j^2
  1. 数据拟合项第一项是均方误差损失，衡量模型对训练数据的拟合程度，权重越准确，这项越小。
    ∑i=1n(yi−wTxi)2\displaystyle \sum_{i=1}^{n} (y_i - \mathbf{w}^{\mathrm{T}}\mathbf{x}_i)^2
  2. L2 惩罚项第二项是所有权重的平方和。平方让大权重受到不成比例的惩罚，迫使模型把权重分摊得均匀且小。
    λ∑j=1pwj2\displaystyle \lambda \sum_{j=1}^{p} w_j^2
  3. 收缩机制优化后的权重可以理解为 $w_j^{\text{new}} = \frac{w_j}{1 + \lambda'}$——每个权重都被除以一个大于 1 的系数，整体收缩但不归零。
    wjnew=wj1+λ\displaystyle w_j^{\text{new}} = \frac{w_j}{1 + \lambda}

L1正则化

另一种打包哲学是“断舍离”：挑出最必要的几件衣服，剩下的纪念品、石头、旧杂志统统扔掉。箱子一下子轻了，东西反而好找。L1 正则化就是这么做的——它给权重加的是绝对值惩罚，在优化过程中，那些不重要的特征的权重会被精确地压成 0，从模型中彻底消失。这就是稀疏解。

L1 正则化的线性回归叫 Lasso（Least Absolute Shrinkage and Selection Operator）。绝对值惩罚不像平方那样“温柔”，它对所有大小的权重都“一视同仁”地收税，而且在零点处有一个尖锐的折角——正是这个折角，让权重像被刀切一样干净地归零。模型自动完成了特征选择：留下有用特征，扔掉无关特征。

断舍离的好处是模型变得极其精简：几百个特征最后只剩几十个，不仅预测更快、更稳，还帮你发现了“到底哪些因素真正重要”。这正是 L1 在生产环境中深受欢迎的原因——它既是正则化工具，也是特征选择的利器。

J(w)=∑i=1n(yi−wTxi)2+λ∑j=1p∣wj∣\displaystyle J(\mathbf{w}) = \sum_{i=1}^{n} (y_i - \mathbf{w}^{\mathrm{T}}\mathbf{x}_i)^2 + \lambda \sum_{j=1}^{p} |w_j|
  1. 数据拟合项第一项与岭回归完全相同，衡量预测值与真实值的差距。
    ∑i=1n(yi−wTxi)2\displaystyle \sum_{i=1}^{n} (y_i - \mathbf{w}^{\mathrm{T}}\mathbf{x}_i)^2
  2. L1 惩罚项第二项是所有权重的绝对值之和。与平方不同，绝对值在 $w_j=0$ 处不可导，形成一个“尖角”。
    λ∑j=1p∣wj∣\displaystyle \lambda \sum_{j=1}^{p} |w_j|
  3. 软阈值机制优化时，L1 的解相当于对权重做软阈值处理——绝对值小于 $\lambda$ 的权重直接被清零，大于 $\lambda$ 的权重朝零方向收缩 $\lambda$。
    wjnew=sign(wj)⋅max⁡(0,∣wj∣−λ)\displaystyle w_j^{\text{new}} = \text{sign}(w_j) \cdot \max(0, |w_j| - \lambda)

几何意义

为什么 L1 能把权重清零，L2 却只会把权重缩小？答案藏在两种惩罚对应的“约束域”形状里。把优化问题换个角度看：在权重空间里，L2 的约束条件是所有权重落在一个圆内，而 L1 的约束条件是所有权重落在一个菱形内。损失函数的等高线是围绕最优点的一圈圈椭圆，最优解就是等高线与约束域边界相切的地方。

L2 的圆形边界是光滑的，等高线通常相切于圆周上的某一点，这个点两个坐标都不为零——所以 L2 解几乎不会落在坐标轴上。L1 的菱形有四个尖锐的顶点，顶点恰好位于坐标轴上。当等高线“撞”上菱形时，更容易先碰到尖角，而尖角处的坐标为零——这就是 L1 产生稀疏解的几何原因。动图中的动画展示了这个过程：λ 增大时，约束域收缩，L1 的解点率先跳到坐标轴上。

所以“菱形 vs 圆形”不只是形状差异，更是两种哲学的分水岭：L1 倾向于做出“非此即彼”的决断，L2 倾向于“人人都出一点力”。理解了这一点，你就掌握了正则化最核心的直觉。

∑j=1pwj2≤tvs∑j=1p∣wj∣≤t\displaystyle \sum_{j=1}^{p} w_j^2 \le t \qquad \text{vs} \qquad \sum_{j=1}^{p} |w_j| \le t
  1. L2 约束域$\sum w_j^2 \le t$ 表示权重向量落在以原点为圆心、半径为 $\sqrt{t}$ 的圆内，边界处处圆滑。
    ∑j=1pwj2≤t\displaystyle \sum_{j=1}^{p} w_j^2 \le t
  2. L1 约束域$\sum |w_j| \le t$ 表示权重向量落在菱形内，边界在坐标轴方向有四个尖角。
    ∑j=1p∣wj∣≤t\displaystyle \sum_{j=1}^{p} |w_j| \le t
  3. 交点位置等高线（椭圆）与凸约束域相切时，碰在尖角上意味着某些坐标恰好为 0。
    wj=0当切点落在坐标轴上\displaystyle w_j = 0 \quad \text{当切点落在坐标轴上}

惩罚系数

行李箱限重多少才合适？限重 2 公斤，你什么都带不了，到了目的地只能挨冻；限重 200 公斤，跟没限一样，箱子照样塞爆。同理，正则化系数 λ 是那个“限重线”——它直接控制正则化项在损失函数中的话语权。

λ 太小时，对权重的惩罚微乎其微，模型依然肆意过拟合，等于没加正则化；λ 太大时，惩罚项完全压制了数据拟合项，权重全被压向零，模型变成“什么都不学”的欠拟合状态。理想的 λ 应该刚好把噪声滤掉、保留真实信号。实际工作中我们不靠感觉猜，而是用交叉验证系统性地扫描候选值：把训练数据切成 K 份，轮流拿一份当验证集，选出平均验证误差最小的 λ。

限重调好了，行李箱既装得下必需品，也推得动。实践中可以先用几组对数尺度上的候选值（如 0.001、0.01、0.1、1、10）粗扫一遍，再在最优值附近细扫，兼顾效率与精度。

λ∗=arg⁡min⁡λ1K∑k=1KErr(k)(λ)\displaystyle \lambda^{*} = \arg\min_{\lambda} \frac{1}{K} \sum_{k=1}^{K} \text{Err}^{(k)}(\lambda)
  1. 交叉验证误差对每个候选 λ，计算 K 折交叉验证的平均误差，代表该 λ 的泛化表现。
    1K∑k=1KErr(k)(λ)\displaystyle \frac{1}{K} \sum_{k=1}^{K} \text{Err}^{(k)}(\lambda)
  2. 最优选择在所有候选 λ 中，挑选使交叉验证误差最小的那个。
    λ∗=arg⁡min⁡λ1K∑k=1KErr(k)(λ)\displaystyle \lambda^{*} = \arg\min_{\lambda} \frac{1}{K} \sum_{k=1}^{K} \text{Err}^{(k)}(\lambda)

弹性网络

有时候，只扔不压还不够：扔掉杂物后，剩余的衣服还是松松垮垮占地方；只压不扔呢？没用的石子还在里面占重量。聪明的做法是“先扔再压”——先扔掉完全没用的，再把留下的压缩整齐。弹性网络（Elastic Net）就是这种组合拳，它把 L1 和 L2 的惩罚项线性叠加，同时获得 L1 的稀疏能力和 L2 的平滑稳定。

弹性网络尤其擅长处理“特征高度相关”的数据。想象你和同伴各背一个行李箱，你俩带的衣服一模一样——L1 会随机选一个保留、另一个扔掉，结果不稳定；弹性网络因为有了 L2 的“平摊”效应，会让两个高度相关的特征同时被保留或同时被压缩，这就是群体选择效应。

弹性网络同时拥有两个外部旋钮：$\lambda$ 控制整体惩罚强度，$\alpha$ 控制 L1/L2 的混合比例。多一个旋钮意味着多一点调参成本，但在充满相关特征的真实数据上，这份投入通常物超所值。

J(w)=Loss(w)+λ(α∑j=1p∣wj∣+1−α2∑j=1pwj2)\displaystyle J(\mathbf{w}) = \text{Loss}(\mathbf{w}) + \lambda \left( \alpha \sum_{j=1}^{p} |w_j| + \frac{1-\alpha}{2} \sum_{j=1}^{p} w_j^2 \right)
  1. 损失项$\text{Loss}(\mathbf{w})$ 是原始数据拟合损失，与前面一致。
    Loss(w)=∑i=1n(yi−wTxi)2\displaystyle \text{Loss}(\mathbf{w}) = \sum_{i=1}^{n} (y_i - \mathbf{w}^{\mathrm{T}}\mathbf{x}_i)^2
  2. L1 分量$\alpha \sum |w_j|$ 负责“扔”——产生稀疏解，进行特征选择。
    α∑j=1p∣wj∣\displaystyle \alpha \sum_{j=1}^{p} |w_j|
  3. L2 分量$\frac{1-\alpha}{2} \sum w_j^2$ 负责“压”——让相关特征的权重平滑分摊，增强稳定性。
    1−α2∑j=1pwj2\displaystyle \frac{1-\alpha}{2} \sum_{j=1}^{p} w_j^2
  4. 混合系数$\alpha$ 在 0 到 1 之间取值，$\alpha=1$ 退化为纯 L1（Lasso），$\alpha=0$ 退化为纯 L2（岭回归）。
    α∈[0,1]\displaystyle \alpha \in [0, 1]

实践选择与调优

经历了这么多，你终于成了打包高手：出差一周选轻便衣物（小模型），野外探险多带工具（大数据），两个同伴同行就分工协作（多模型融合）。选择哪种正则化，同样需要看“旅行场景”——具体的数据和业务需求。

当特征数量非常多且大部分无关（比如基因数据有数万维）时，优先选 L1，让模型自动扔掉无关特征，得到精简模型；当特征彼此高度相关（比如物价指数与 CPI 几乎线性相关）时，优先选弹性网络，避免 L1 随机选择导致的不稳定；当你只是想让模型更稳、并没有特征筛选需求时，L2 就够用了。无论选哪种，有一个前置步骤不能省：先做特征标准化。因为正则化惩罚对特征尺度敏感，如果一个特征动辄成千上万，另一个只有零点几，惩罚会集中在数值大的特征上，导致不公平。

调参之后，记得画学习曲线诊断：横轴是训练数据量，纵轴是误差，同时画出训练集和验证集的误差曲线。如果两条线相距很远，说明还是过拟合，需要增大 λ 或换更强的 L1；如果两条线都高，说明欠拟合，需要减小 λ 或增加模型复杂度。至此，行李箱的打包规则终于成了你的肌肉记忆。

xj′=xj−μjσj\displaystyle x'_j = \frac{x_j - \mu_j}{\sigma_j}
  1. 均值中心化每个特征减去自身均值 $\mu_j$，让特征分布的中心对齐到原点。
    xj−μj\displaystyle x_j - \mu_j
  2. 方差缩放除以标准差 $\sigma_j$，让所有特征有相同的尺度，正则化惩罚对每个权重一视同仁。
    xj′=xj−μjσj\displaystyle x'_j = \frac{x_j - \mu_j}{\sigma_j}

AI 应用场景

信贷风控特征筛选

阶段：特征工程与模型训练

解决的问题：银行信贷模型常有数百个用户特征，包含大量冗余和噪声。传统方法靠人工逐维分析筛选特征，效率低且容易漏掉非线性关系。使用 L1 正则化的 Lasso 模型训练后，不相关特征的权重自动变为 0，一次训练同时完成特征选择，大幅简化特征管线。

具体案例：某消费金融公司构建申请评分卡时，原始特征 512 维，直接用逻辑回归过拟合严重、解释困难。改用 Lasso 后，权重非零的特征只剩 47 个，模型 AUC 从 0.76 提升到 0.82，且风控团队能清晰解释每个保留特征的业务含义。

推荐系统点击率预估

阶段：模型训练与超参数调优

解决的问题：CTR 预估模型的输入是用户与物品的高维交叉特征，维度可达千万级，极易过拟合。传统做法靠人工降维或粗暴截断特征，信息损失大。在逻辑回归或浅层网络上叠加 L2 正则化，可将权重平滑收缩，防止模型记住个别样本的偶然点击行为。

具体案例：某电商推荐团队在点击率模型中加入 L2 正则化（λ=0.5），线上 A/B 测试显示 CTR 提升 3.1%，离线 AUC 提升 0.8%，同时模型对热门物品的推荐方差显著下降，冷门物品获得更公平的曝光机会。

医疗影像特征建模

阶段：模型部署前调优

解决的问题：医疗影像提取出的纹理、形态特征往往高度相关，单用 L1 正则化会导致特征选择不稳定——同一样本跑两次模型，留下的特征集可能不同。弹性网络通过 L2 分量的群体选择效应，让相关特征一起进出，提高解的可重复性。

具体案例：某医学影像团队在肺结节良恶性分类中，从 CT 影像提取 128 维特征，使用 ElasticNet（α=0.5）后，模型在跨院验证集上的准确率达到 91%，且在 5 次重复实验中选择的特征集重合度从 Lasso 的 52% 提升到 89%。

Python 演示

python33 行
import numpy as npfrom sklearn.datasets import make_regressionfrom sklearn.linear_model import Ridge, Lasso, ElasticNetfrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScaler # 生成 200 个样本、20 个特征，只有 5 个特征真正有预测力X, y, true_w = make_regression(    n_samples=200, n_features=20, n_informative=5,    noise=0.1, coef=True, random_state=42) X_train, X_test, y_train, y_test = train_test_split(    X, y, test_size=0.2, random_state=42) # 正则化前先做标准化，否则惩罚项会被特征尺度带偏scaler = StandardScaler()X_train = scaler.fit_transform(X_train)X_test = scaler.transform(X_test) models = {    "Ridge (L2)": Ridge(alpha=1.0),    "Lasso (L1)": Lasso(alpha=0.1),    "ElasticNet": ElasticNet(alpha=0.1, l1_ratio=0.5),} for name, model in models.items():    model.fit(X_train, y_train)    train_score = model.score(X_train, y_train)    test_score = model.score(X_test, y_test)    n_zero = int(np.sum(np.abs(model.coef_) < 1e-6))    print(f"{name:12s} | train={train_score:.3f} | test={test_score:.3f} | zero={n_zero}/20")
目的：在同一份合成数据上对比岭回归（L2）、Lasso（L1）和弹性网络三者的性能与稀疏性，直观展示 L1 能清零特征而 L2 不能。
  1. make_regression(n_features=20, n_informative=5)生成 20 个特征但只有 5 个有真实预测力，模拟“无关特征占多数”的场景，方便观察稀疏效果。
  2. StandardScaler()对特征做标准化，让每个特征的尺度一致，保证正则化惩罚公平作用于所有权重。
  3. Ridge(alpha=1.0)岭回归使用 L2 惩罚，期望它的 20 个权重全部非零。
  4. Lasso(alpha=0.1)Lasso 使用 L1 惩罚，期望它把大部分无关特征的权重压成 0。
  5. ElasticNet(alpha=0.1, l1_ratio=0.5)弹性网络用 l1_ratio=0.5 让 L1/L2 对半开，兼顾稀疏与稳定。
  6. model.coef_训练后模型的权重向量，检查每个权重的绝对值来统计被清零的特征数。
  7. model.score()返回 R² 决定系数，衡量模型对数据的解释程度，训练集与测试集的差距反映过拟合程度。

常见误区

误区L2 正则化会把不重要的权重直接变成 0，和 L1 效果差不多，只是慢一点。

正解L2 惩罚的是权重的平方，在零点附近非常平滑，权重只会被“压缩袋”不断压小、趋近于零，但永远不会精确等于零。几何上看，圆形约束域没有尖角，等高线和圆边界相切时几乎不可能恰好切在坐标轴上。只有 L1 的菱形尖角才能让权重“干净利落”地归零。

为何常见：初学者看到 L1 和 L2 的公式很像，都让权重变小，容易忽略“趋近零”与“等于零”的本质区别，直到画图或实际查看系数时才明白。

误区惩罚越狠，模型越简单，越不容易过拟合，所以 λ 越大越好。

正解λ 是“限重线”，不是越大越好。λ 太小时惩罚形同虚设，模型照样过拟合；λ 太大时数据拟合项被完全压制，所有权重被压向零，模型变成只会输出平均值的“傻子”——欠拟合。正确做法是用交叉验证扫描候选值，选择验证误差最小的 λ。

为何常见：人们容易把“正则化”等同于“好处”，忽略了它本质是权衡——拟合与简化之间的平衡。一维思考往往会走极端。

误区正则化是神经网络时代的新技术，传统机器学习很少用。

正解正则化的数学思想源于统计学，上世纪 70 年代就有岭回归，Lasso 在 1996 年提出。线性回归、逻辑回归、支持向量机、决策树集成等几乎所有机器学习模型都有正则化机制或等效的复杂度控制手段。深度学习中的权重衰减（Weight Decay）本质就是 L2 正则化。

为何常见：深度学习的教学常把 Dropout、BatchNorm 和权重衰减一起介绍，初学者误以为正则化是深度学习专属，忽略了它其实是模型复杂度控制的通用框架。

误区L1 和 L2 是两种互斥的正则化方案，用了一个就不能用另一个。

正解弹性网络就是把 L1 和 L2 线性组合在一起，用 α 控制比例。它既保留 L1 的稀疏性，又获得 L2 对高相关特征的稳定性，在真实数据上往往比单独用任何一种效果更好。L1 和 L2 不是竞争关系，而是可以协同的工具。

为何常见：教材一般分两节讲 L1 和 L2，先入为主地形成了“二选一”的印象。看到 ElasticNet 的公式时才恍然大悟：数学上线性组合如此简单，两者完全可以共存。

面试题

Q1. L2 正则化对权重的影响是？

单选题 · easy

  • A.把不重要的权重精确变为零
  • B.让所有权重整体收缩但不归零← 正确答案
  • C.随机删除一半的权重
  • D.把权重放大以增强拟合

答案：B。L2 惩罚的是权重平方和，优化后权重按比例缩小但不会精确归零，对应“压缩袋”的比喻。A 是 L1 的行为，C 是 Dropout 的思路，D 与正则化方向相反。

Q2. L1 正则化最突出的特点是？

单选题 · easy

  • A.让所有特征权重均匀变小
  • B.产生稀疏解，自动特征选择← 正确答案
  • C.只能用于分类问题
  • D.不需要设置任何超参数

答案：B。L1 的菱形约束域尖角落在坐标轴上，使部分权重被精确压成 0，产生稀疏解，相当于自动扔掉无关特征。A 是 L2 的特点，C 错误，L1 回归分类都能用，D 错误，λ 仍需调优。

Q3. 从几何角度看，L1 正则化比 L2 更容易产生稀疏解的原因是？

单选题 · mid

  • A.L1 的约束域是圆形，边界光滑
  • B.L1 的约束域是菱形，尖角位于坐标轴← 正确答案
  • C.L1 的损失函数是凸函数
  • D.L1 的梯度比 L2 更大

答案：B。菱形约束域在坐标轴方向有四个尖角，损失函数的等高线与约束域相切时更容易碰到尖角，尖角处权重坐标为 0，于是产生稀疏解。A 描述的圆形是 L2 的特征，C 对凸性的描述本身没错但不是稀疏原因，D 的说法不准确。

Q4. 其他条件不变，λ 取值过大时模型会发生什么？

单选题 · mid

  • A.过拟合加剧
  • B.欠拟合，权重被过度压缩← 正确答案
  • C.训练速度变快
  • D.模型自动增加特征数量

答案：B。λ 是正则化的“限重线”，过大时惩罚项压制数据拟合项，所有权重被压向零，模型学不到数据规律，陷入欠拟合。A 是 λ 过小的表现，C 与 λ 无关，D 与 L1 的稀疏方向相反。

Q5. 弹性网络（ElasticNet）与单独使用 L1 或 L2 相比，主要优势是？

单选题 · mid

  • A.完全不需要调参
  • B.同时获得稀疏性与对高相关特征的稳定性← 正确答案
  • C.训练速度一定更快
  • D.只适用于线性模型

答案：B。弹性网络把 L1 和 L2 线性叠加：L1 负责产生稀疏解做特征选择，L2 让高相关特征的权重被一起平滑压缩，避免 Lasso 在相关特征前随机选择的不稳定。A 错误，它有两个超参数要调，C 没有必然关系，D 错误，它可扩展到其他线性模型。

Q6. 以下哪些是 L2 正则化的特征？

多选题 · mid

  • A.约束域为圆形← 正确答案
  • B.权重整体向零收缩← 正确答案
  • C.权重可以精确变为零
  • D.不会自动删除特征← 正确答案

答案：ABD。L2 的约束域是圆形（A），优化时权重按比例收缩但不归零（B），因此不会自动删除特征（D）。C 是 L1 稀疏解的标志，不属于 L2。用压缩袋比喻理解：每件都压扁但都不扔掉。

Q7. 使用 L1 正则化之前，对特征做标准化的主要原因是？

单选题 · easy

  • A.让模型训练速度更快
  • B.让惩罚项对每个权重一视同仁← 正确答案
  • C.让损失函数变成凸函数
  • D.消除特征之间的多重共线性

答案：B。正则化惩罚对特征尺度敏感。特征数值范围大，对应权重通常小；范围小，权重通常大。不做标准化，λ 惩罚会主要落在数值大的特征上，造成不公平。标准化让所有特征尺度一致（除以标准差），惩罚才能公平作用于每个权重。A 不是主要原因，C 与标准化无关，D 是相关性的问题。

Q8. 以下哪些情形适合优先选用 L1 正则化？

多选题 · mid

  • A.特征数量多且大部分无关← 正确答案
  • B.希望自动完成特征选择← 正确答案
  • C.特征之间高度线性相关
  • D.十分看重模型的解释性← 正确答案

答案：ABD。L1 能把无关特征的权重清零，适合特征多而杂的场景（A），自动特征选择（B），且稀疏模型更容易解释（D）。C 是 L1 的短板——相关特征会被随机挑一个，此时应改用弹性网络。

Q9. 在 K 折交叉验证中选择正则化系数 λ 时，正确的做法是？

单选题 · hard

  • A.在训练集上计算损失最小的 λ
  • B.在所有候选 λ 中选验证误差最小的← 正确答案
  • C.直接选最大的 λ 保证泛化
  • D.根据训练误差曲线的最低点决定

答案：B。交叉验证把训练数据切 K 份轮流做验证集，用每份的平均验证误差代表 λ 的泛化能力，选验证误差最小的 λ。A 在训练集上选会造成过拟合（λ 倾向选 0），C 走向欠拟合极端，D 训练误差通常会随 λ 减小而下降，不能反映泛化。

Q10. 岭回归（L2）相比 Lasso（L1），在特征强相关的场景下表现更稳定的原因是？

单选题 · hard

  • A.岭回归不需要特征标准化
  • B.L2 惩罚让相关特征的权重被分摊而非随机取舍← 正确答案
  • C.L2 约束域面积更大
  • D.岭回归的损失函数是线性的

答案：B。L1 面对两个强相关且同等的特征时，会随机选一个权重非零、另一个为零，导致解不稳定。L2 的平方惩罚倾向于把权重均匀分摊到所有相关特征上，解更加平滑稳定，这与“把相关物品一起压扁”的压缩袋直觉一致。A 错误，岭回归同样需要标准化；C 与约束域大小无关；D 错误，岭回归损失是二次的。