想象你是一位班主任，班里有个叫聪聪的学生。聪聪过目不忘，却有个致命毛病：他把练习册上每一道题的答案都背了下来。于是平时的随堂小测（训练集）他回回满分，可一到升学考试（测试集），题目稍微换个说法，他就彻底懵圈。这种“背答案式学习”在机器学习里叫做过拟合——模型记住的是训练数据里的噪声和细节，而不是背后的规律。而让聪聪“理解解题思路、别死记硬背”的各种约束规则，就是我们今天的主角——正则化（Regularization）。正则化像一位严格的教练，一边拉着聪聪的缰绳，一边告诉他：你可以学，但别学得太死。 接下来，我们会从“聪明过头”的过拟合讲起，一步步拆解 L1、L2、Dropout、早停、数据增强这一整套“防背题”手段，并用聪聪的故事帮你把数学公式和工程经验串成一条线。读完你会发现，正则化并不是什么高深咒语，它只是给模型戴上的一副“理解眼镜”。

岗位关联

正则化是 AI 面试中必考的高频核心考点，理解它能帮你从“只会调参”升级为“能讲清算理”，是算法工程师区分度最大的基本功之一。本文学完，即可应对面试中 80% 的正则化相关问题。

目录
  1. 可视化演示
  2. 核心概念
  3. 偏差与方差
  4. L1正则化
  5. L2正则化
  6. Dropout
  7. 数据增强与早停
  8. 工程实践与面试答题
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示PERT网络分析、甘特图调度和COCOMO估算模型三种项目管理技术，动态演示关键路径识别、任务编排和工时估算过程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

PERT网络关键路径分析 节点代表事件（里程碑），箭头代表活动任务 关键路径：耗时最长的路径，决定项目最短工期 浮动时间：非关键路径活动的可延迟时间 CP = max(∑duration on all paths)

核心概念

聪聪的“背答案”问题，在机器学习里有一套正式的名字。假设我们要教聪聪做一道“鸡兔同笼”的数学题，训练数据是一百道练习题。模型 X 把答案背得滚瓜烂熟，小测全对，这叫过拟合（overfitting）——它在训练集上的误差很低，可一到新题就崩溃。如果模型 Y 天天上课睡觉，连练习题都做得一塌糊涂，这叫欠拟合（underfitting）——它连训练集都没学好。

真正的“好学生”是那种不背答案、只总结规律的同学，他既能在练习册上拿高分，也能应对没见过的题型，这种能力叫泛化（generalization）。而正则化，就是老师用来防止学生“过度背诵”的班规：你可以记公式，但不能照抄答案；你可以学得深入，但必须遵守纪律。

从数学上看，正则化是给原始损失函数加一个“惩罚项”，让模型在最小化误差的同时，控制自己别变得太复杂：

正则化的本质，就是“既要考得好，又要守规矩”。聪聪如果太野，老师就用 λ 这根缰绳把他拽回来；拽得太狠也不行，那他就变成不敢做题的胆小鬼了。理解了这一层，后面所有的 L1、L2、Dropout，都只是“纪律规则”的不同形式。

min⁡w  1n∑i=1nL(yi,w⊤xi)+λ⋅Ω(w)\min_{\mathbf{w}} \; \frac{1}{n}\sum_{i=1}^{n} \mathcal{L}\big(y_i, \mathbf{w}^{\top}\mathbf{x}_i\big) + \lambda \cdot \Omega(\mathbf{w})
这个公式像一个“双目标成绩单”：第一项是考试成绩（拟合数据），第二项是纪律评分（模型复杂度），λ 则是纪律的权重。纪律抓得越严，模型就越不敢“放飞自我”。
  1. 数据损失衡量模型在训练集上“答错多少题”，是学习能力的直接反映。
    1n∑i=1nL(yi,w⊤xi)\frac{1}{n}\sum_{i=1}^{n} \mathcal{L}\big(y_i, \mathbf{w}^{\top}\mathbf{x}_i\big)
  2. 惩罚项衡量模型“答题风格”有多复杂，越复杂的权重组合扣分越多。
    Ω(w)\Omega(\mathbf{w})
  3. 权衡系数λ 越大，模型越保守，倾向简单；λ 越小，模型越狂野，容易背题。
    λ>0\lambda > 0

偏差与方差

为什么聪聪一上考场就发挥失常？我们得先分析他的“成绩构成”。假设同一个知识点，聪聪在无数个不同班级里参加考试，每场考试题目都略有不同。他的成绩可以拆成三部分：偏差（Bias） 是他“系统地学歪了”——比如他记错了公式，怎么考都差一个符号；方差（Variance） 是他“对不同试卷反应过度”——题目一变，答案就跟着剧烈摇摆；噪声（Noise） 是考卷印刷错误、天气太热这类谁都控制不了的随机因素。

数学上，一个模型的期望测试误差可以精确分解成这三项：

聪聪这种“背答案型”选手，典型症状是低偏差、高方差——练习册范围内的题全对（偏差低），稍微变个题型就崩（方差高）。正则化就像一道“平静咒”，通过抑制模型复杂度来提高偏差一点点，却换来方差大幅下降。当总误差下降时，这个小交换就是值得的。面试时如果能先说出“正则化是在偏差和方差之间找平衡点”，就已经赢了一半。

E[(y−f^(x))2]=σ2+(E[f^(x)]−y)2⏟Bias2+E[(f^(x)−E[f^(x)])2]⏟Variance\mathbb{E}\big[(y - \hat{f}(x))^2\big] = \sigma^2 + \underbrace{\big(\mathbb{E}[\hat{f}(x)] - y\big)^2}_{\text{Bias}^2} + \underbrace{\mathbb{E}\big[(\hat{f}(x) - \mathbb{E}[\hat{f}(x)])^2\big]}_{\text{Variance}}
这三个部分就像一支篮球队的得分：偏差是“投篮方向总偏左”的系统性失误，方差是“手感忽好忽坏”的不稳定，噪声则是“裁判黑哨”这种不可控因素。
  1. 噪声数据本身固有的随机波动，无论模型多好都无法消除，是误差的“地板价”。
    σ2\sigma^2
  2. 偏差平方模型预测的平均值与真实值之间的差距，衡量“系统性地学错了多少”。
    (E[f^(x)]−y)2\big(\mathbb{E}[\hat{f}(x)] - y\big)^2
  3. 方差模型在不同训练集上的预测波动程度，衡量“换个班学习就换个发挥”的程度。
    E[(f^(x)−E[f^(x)])2]\mathbb{E}\big[(\hat{f}(x) - \mathbb{E}[\hat{f}(x)])^2\big]

L1正则化

现在老师给聪聪立第一条班规：“记知识可以，但只许你记最重要的三条。” 聪聪必须扔掉一大堆细枝末节的笔记，只保留那些真正管用的核心规律。这条班规的数学形式叫 L1 正则化，也叫 Lasso（拉索回归）。

它在原始损失后面加上了“参数绝对值之和”作为惩罚：

为什么 L1 能把参数变成 0？看几何解释最直观：L1 的可行域是一个菱形（见可视化演示中的红色边界），菱形有尖尖的顶点，这些顶点恰好落在坐标轴上。当损失函数的等高线（椭圆）第一次碰到约束边界时，往往就碰在顶角上——此时某个参数正好为 0。这就是“稀疏解”的几何本质。

回到聪聪的故事：L1 班规逼着他做“减法”。他扔掉了一堆无关笔记（参数置零），留下的每一条都是精华。在真实项目中，这意味着自动特征选择：当你有几百个特征但大多数无关时，Lasso 可以帮你筛出最关键的那几个。

LL1=1n∑i=1n(yi−w⊤xi)2+λ∑j=1p∣wj∣\mathcal{L}_{\mathrm{L1}} = \frac{1}{n}\sum_{i=1}^{n}\big(y_i - \mathbf{w}^{\top}\mathbf{x}_i\big)^2 + \lambda \sum_{j=1}^{p} |w_j|
加上绝对值惩罚后，模型会倾向于把一些“可有可无”的参数直接压成 0——就像聪聪把不重要的笔记直接扔掉，只留精华。
  1. 数据损失依然是模型在训练集上的平方误差，衡量拟合程度。
    1n∑i=1n(yi−w⊤xi)2\frac{1}{n}\sum_{i=1}^{n}\big(y_i - \mathbf{w}^{\top}\mathbf{x}_i\big)^2
  2. L1 惩罚项对所有参数绝对值求和，每保留一个非零参数都要“付账”。
    λ∑j=1p∣wj∣\lambda \sum_{j=1}^{p} |w_j|
  3. 软阈值操作L1 的最优解等价于把参数按阈值“削减”，小于阈值的直接清零。
    wj=sign(wj)⋅max⁡(∣wj∣−λ,0)w_j = \mathrm{sign}(w_j)\cdot \max(|w_j| - \lambda, 0)

L2正则化

老师觉得 L1 的“只许留三条”有点太极端了，担心聪聪丢掉太多重要内容。于是换了第二条班规：“笔记随便记，但每条笔记的字数都要控制，不能写太多。” 这条班规叫 L2 正则化，也叫 Ridge（岭回归），在深度学习里还有个响亮的名字——权重衰减（Weight Decay）。

它惩罚的是参数的平方和：

几何上，L2 的可行域是圆形，圆没有尖角，所以最优解很少恰好落在坐标轴上。所有参数都会被整体“等比缩水”，但谁也不归零。这正是 L1 与 L2 的核心区别：L1 做减法（稀疏），L2 做縮放（平滑）。

想象聪聪同时记两门课笔记：L1 让他“这门课笔记太多，直接不记了”；L2 让他“每门课笔记都压缩到最短篇幅”。如果面试官问“L2 为什么不会产生稀疏解”，你就用“圆没有尖角，所以切点不在轴上”来回答——既直观又显功力。

LL2=1n∑i=1n(yi−w⊤xi)2+λ2∑j=1pwj2\mathcal{L}_{\mathrm{L2}} = \frac{1}{n}\sum_{i=1}^{n}\big(y_i - \mathbf{w}^{\top}\mathbf{x}_i\big)^2 + \frac{\lambda}{2} \sum_{j=1}^{p} w_j^2
平方惩罚让模型意识到“参数越大越贵”，于是所有权重都被均匀地、温和地缩小，但极少被直接砍成 0。
  1. 数据损失与 L1 相同的拟合误差项。
    1n∑i=1n(yi−w⊤xi)2\frac{1}{n}\sum_{i=1}^{n}\big(y_i - \mathbf{w}^{\top}\mathbf{x}_i\big)^2
  2. L2 惩罚项参数平方和，边缘的大参数会被毫不留情地惩罚。
    λ2∑j=1pwj2\frac{\lambda}{2} \sum_{j=1}^{p} w_j^2
  3. 梯度更新中的衰减因子每次更新参数时先乘一个小于 1 的系数，等价于“每步都把参数缩小一点”。
    wj←(1−ηλ) wj−η ∂Ldata∂wjw_j \leftarrow (1 - \eta\lambda)\, w_j - \eta\,\frac{\partial \mathcal{L}_{\mathrm{data}}}{\partial w_j}

Dropout

深度学习模型是班里的“高材生”，层数多、参数多，比线性模型更容易背答案。聪聪到了深度学习班，老师发明了一条新的班规：“课堂上随机让几个同学'消失'，不许聪聪依赖同桌。” 这条班规叫 Dropout（随机失活）。

具体做法是：每次训练时，以一定概率 $p$ 随机把一部分神经元置为 0，让网络在“缺胳膊少腿”的情况下仍然努力学。聪聪没法再指望“那个学霸同桌一定在”——因为同桌随时可能被请出教室。于是聪聪必须自己掌握完整的解题能力。

从“集成学习”的角度看，Dropout 相当于同时训练了无数个“缺人版本”的模型，最后推理时大家投票平均，结果更稳。为了让训练和推理的期望一致，推理时要做缩放：

在工程实践中，常用 Inverted Dropout：训练时除以 p，推理时直接正常前向，代码里不用再写缩放。Dropout 对于防止深度网络的“协同依赖”特别有效——就像不让聪聪习惯“旁边总有学霸提醒”，逼他独立完成考试。

y^=1p W⊤(d⊙x),dj∼Bernoulli(p)\hat{y} = \frac{1}{p}\, W^{\top}(d \odot x), \quad d_j \sim \mathrm{Bernoulli}(p)
训练时每个神经元以概率 p 保留，推理时把输出统一除以 p，这样期望值不变——相当于把“大家平均”的结果调整回正常尺度。
  1. 伯努利掩码每个神经元按概率 p 随机决定是否保留，生成 0/1 掩码。
    dj∼Bernoulli(p)d_j \sim \mathrm{Bernoulli}(p)
  2. 掩码与输入逐元素相乘让部分神经元输出为 0，模拟“同学缺席”。
    d⊙xd \odot x
  3. 除以保留概率推理时统一缩放，保证期望输出与训练时一致。
    1p\frac{1}{p}

数据增强与早停

聪聪还有一个坏习惯：翻来覆去就做那几道练习题，题目稍有变化就麻爪。老师对症下药，开出两副药方。

第一副药叫数据增强（Data Augmentation）：不换练习册，但把每道题变出无数种花样——把“鸡兔同笼”换成“猫狗同笼”、把数字改大改小、把图形旋转拉伸。聪聪看到的是同一道题的千变万化，自然就不敢背原题，只能去学“解题原理”。在图像任务里，这就是对训练图片做旋转、翻转、裁剪；在 NLP 里就是同义词替换、回译。数据增强本质上是扩大训练集的多样性，是治疗过拟合最温柔的一招。

第二副药叫早停（Early Stopping）。聪聪每次模拟考（训练集）成绩都还在涨，但真正的升学模拟测验（验证集）已经开始下滑。老师盯住验证集的成绩曲线，一旦发现“再学下去反而变差”，立刻喊停——不让他把答案背到脑子石化。数学上，早停就是挑出验证误差最小的那个时刻：

数据增强和早停，一个“多喂花样”，一个“及时收手”，都是对“聪聪背题”行为的物理干预。它们和 L1/L2 的数学约束不同，但殊途同归：都是为了让模型记得更少、理解更深。

t∗=arg⁡min⁡t  Eval(t)t^{*} = \arg\min_{t} \; E_{\mathrm{val}}^{(t)}
早停像是“见好就收”的考试策略：既然继续刷题只会越刷越僵，不如选最清醒的那一刻去考试。
  1. 验证误差序列每训练一个轮次，就在没见过的验证集上测一次误差。
    Eval(t)E_{\mathrm{val}}^{(t)}
  2. 取最小值对应的轮次选择验证误差最小的那个 checkpoint 作为最终模型。
    t∗=arg⁡min⁡t  Eval(t)t^{*} = \arg\min_{t} \; E_{\mathrm{val}}^{(t)}

工程实践与面试答题

学了这么多招，到了真正写代码时该怎么选？面试官一句话就能问倒很多人：“你项目里模型过拟合了，怎么处理？” 规范的答题框架是“先诊断，后用药”。

  • 先诊断：看训练误差和验证误差。训练误差高是欠拟合，该加模型容量；训练误差低但验证误差高，才是过拟合，需要正则化。
  • 选型与组合：特征多、想要可解释性，优先 L1（Lasso）做特征选择；特征本身都有用、只想让权重稳定，用 L2（Ridge）；深度网络里，L2 权重衰减 + Dropout + 数据增强是“黄金组合拳”。工程上还常用弹性网络（Elastic Net），把 L1 和 L2 揉在一起：

调参时有个值得记住的经验：先固定 λ 的量级（通常从 1e-3 到 1 之间按十倍网格搜索），再观察验证集表现的“拐点”。λ 太小，正则化形同虚设；λ 太大，模型会变成“躺平的学渣”——训练集和验证集双双崩掉。面试时，用“缰绳松紧”的比喻讲 λ，用“菱形 vs 圆形”讲 L1/L2，用“同桌消失”讲 Dropout——这套故事化表达，比干巴巴背公式让人印象深刻得多。

L=Ldata+λ1∑j=1p∣wj∣+λ2∑j=1pwj2\mathcal{L} = \mathcal{L}_{\mathrm{data}} + \lambda_1 \sum_{j=1}^{p}|w_j| + \lambda_2 \sum_{j=1}^{p}w_j^2
弹性网络像“先做减法再收敛”：L1 负责删掉多余笔记，L2 负责把剩下的笔记写得克制。
  1. 数据损失基础拟合项，依然在前。
    Ldata\mathcal{L}_{\mathrm{data}}
  2. L1 分量产生稀疏，用于特征选择。
    λ1∑j=1p∣wj∣\lambda_1 \sum_{j=1}^{p}|w_j|
  3. L2 分量平滑缩放，稳定权重。
    λ2∑j=1pwj2\lambda_2 \sum_{j=1}^{p}w_j^2

AI 应用场景

图像分类模型的黄金组合拳

阶段：模型训练与调优

解决的问题：训练一个图像分类模型时，深度 CNN 参数量动辄千万级，训练集上轻松过拟合——验证精度上不去，测试集一塌糊涂。传统做法只能靠“堆更多数据”，但真实业务很难快速收集海量标注。

具体案例：一家电商公司训练“商品瑕疵检测”模型，初始在训练集上准确率 98%，验证集却只有 82%。工程师加入随机旋转、裁剪、色彩抖动等数据增强，再叠加 L2 权重衰减和 Dropout，验证集准确率提升到 93%。这就是正则化组合拳在视觉任务中的典型威力。

风控模型的特征筛选

阶段：特征工程与模型选型

解决的问题：信贷风控场景里，初始特征往往多达几百个，很多是强相关的冗余特征，直接喂给 LR 模型不仅过拟合，还难以解释。传统做法靠人工访谈卡方检验一个个筛特征，耗时数周。

具体案例：某互联网金融公司用 Lasso 对 300 维用户画像特征做惩罚回归，训练后接近 200 个特征的系数被压缩为 0，自动选出 80 个核心特征。再使用 L2 岭回归部署线上模型，坏账率下降了 9%，且因为特征少了，业务方也能有理有据地解释模型决策。

大模型训练中的早停控成本

阶段：模型训练流程管理

解决的问题：训练大语言模型或推荐模型，每多跑一个 epoch 都是真金白银的算力开销。如果放任模型训练到完全收敛，往往早已过拟合，纯属浪费资源。

具体案例：某推荐系统团队训练 CTR 预估模型时，设定每 500 步在验证集上评估一次 AUC，当验证 AUC 连续 3 次不升反降就触发早停。最终训练时间缩短了约 30%，线上短期转化指标反而提升了 1.2%。早停用很小的成本代价，换来了“及时收手”的收益。

Python 演示

python38 行
# -*- coding: utf-8 -*-"""从零实现梯度下降 + L1/L2 正则化对比"""import numpy as np  def train(X, y, lam=0.1, penalty='none', epochs=300, lr=0.05):    """penalty: none / l1 / l2"""    n, p = X.shape    w = np.zeros(p)    for _ in range(epochs):        grad = 2.0 / n * X.T @ (X @ w - y)        if penalty == 'l1':            w = w - lr * grad            # 软阈值投影：把绝对值小于阈值的参数直接清零            w = np.sign(w) * np.maximum(np.abs(w) - lr * lam, 0.0)        elif penalty == 'l2':            # 权重衰减：每步先按 (1 - lr*lam) 缩小权重            w = (1.0 - lr * lam) * w - lr * grad        else:            w = w - lr * grad    return w  def main():    np.random.seed(42)    n, p = 300, 10    X = np.random.randn(n, p)    true_w = np.zeros(p)    true_w[[0, 2]] = [1.5, -0.8]    y = X @ true_w + 0.1 * np.random.randn(n)     for pen in ('none', 'l1', 'l2'):        w = train(X, y, lam=0.1, penalty=pen)        print(pen, np.round(w[:4], 3))  if __name__ == '__main__':    main()
目的：生成一份只有前两个特征真正有用的稀疏线性数据，分别用无正则、L1、L2 三种方式训练，直观对比 L1 会把无关特征压成 0、L2 只会整体缩小。
  1. w = np.sign(w) * np.maximum(np.abs(w) - lr * lam, 0.0)这就是 L1 的软阈值操作，小于阈值的参数直接归零，数学上等价于 Lasso 的坐标下降。
  2. w = (1.0 - lr * lam) * w - lr * gradL2 权重衰减的梯度更新，每一步先把权重缩小一个比例，再沿梯度走。
  3. grad = 2.0 / n * X.T @ (X @ w - y)线性回归的梯度，是对 MSE 损失求导得到的。
  4. true_w[[0, 2]] = [1.5, -0.8]模拟“只有两个特征真正有用”，用来测试正则化能否找回真实稀疏结构。

常见误区

误区我学的是深度学习，L1/L2 正则化是线性回归的东西，跟神经网络没关系。

正解正则化对所有模型都适用。L2 在深度学习中叫权重衰减（Weight Decay），几乎是标配；L1 也被用在稀疏神经网络剪枝中；Dropout、数据增强、早停更是深度模型的专用正则化手段。正则化针对的是“模型复杂度”本身，而不是某一种模型。

为何常见：大多数教程都先用线性回归讲 L1/L2，让初学者误以为它只属于传统机器学习。

误区L1 用绝对值、L2 用平方，反正都是让参数变小，差不多。

正解两者有本质差异。L1 的可行域是菱形，最优解容易落在尖角上，导致部分参数精确为 0，产生稀疏解；L2 的可行域是圆，没有尖角，参数只会被整体等比缩小但很少归零。一个做特征选择，一个做平滑收缩，工程选型完全不同。

为何常见：只背了公式没理解几何意义，做题时发现参数都被减小，就误以为“差不多”。

误区训练时随机丢掉一些神经元，推理时也随机丢，效果应该一样。

正解推理时必须保持确定性，否则同一个样本每次预测结果都不同。正确做法是推理时不再随机丢弃，而是把权重或输出按保留概率归一化（如 Inverted Dropout 在训练时除以 p），保证输出期望一致。

为何常见：只记住了“随机丢神经元”这一步，没理解训练和推理是两个不同阶段。

误区过拟合很可怕，所以正则化系数越大越安全。

正解λ 过大会把模型压成“躺平学渣”——所有参数都趋近 0，训练误差和验证误差一起飙升，这是欠拟合。正则化的本质是在偏差和方差之间找平衡，λ 需要用验证集调参，不是越大越好。

为何常见：很多人只看到了“正则化能降验证误差”的甜蜜期，没注意到惩罚过头的副作用。

误区早停就是提前结束训练，省点算力而已，不算真正的正则化。

正解早停通过限制训练迭代次数，等效于限制了模型可达的权重范数范围，本身就是一种隐式正则化。它能防止模型在训练集上“背题背到走火入魔”，是学术界公认的正则化手段之一。

为何常见：早停的实现太简单了，看起来像工程技巧，忽略了它背后的泛化理论。

面试题

Q1. 模型在训练集上误差很低，但在测试集上误差很高，通常称为？

单选题 · easy

  • A.训练误差低而测试误差高← 正确答案
  • B.训练和测试误差都低
  • C.训练和测试误差都高
  • D.训练误差高而测试误差低

答案：A。这是过拟合的经典定义——模型把训练数据背得太熟，失去泛化能力。相当于聪聪把练习册答案全背下来，但升学考试题目一变就全懵。其他选项分别对应欠拟合等不同情况。

Q2. L1 正则化容易产生稀疏解的根本原因是？

单选题 · mid

  • A.可行域是菱形容易切在坐标轴上← 正确答案
  • B.可行域是圆形容易切在坐标轴上
  • C.损失函数没有全局最优解
  • D.梯度在零点处不存在

答案：A。L1 的可行域是带尖角的菱形，损失等高线第一次碰到边界时最容易碰在顶点上，顶点对应某个参数为 0。圆形边界没有尖角，所以 L2 不会产生稀疏解。这是几何层面的根本解释。

Q3. 深度学习中的“权重衰减”（Weight Decay）与哪种正则化等价？

单选题 · mid

  • A.增加权重平方惩罚项← 正确答案
  • B.增加权重绝对值惩罚项
  • C.随机关闭部分神经元
  • D.用验证集提前停止训练

答案：A。权重衰减的更新公式 w = (1 - ηλ)w - η∇L 正是对 L2 正则化损失求梯度后的结果，两者在梯度层面严格等价。L1 对应的是软阈值，不是权重衰减。

Q4. 使用 Dropout 训练后，推理阶段正确的做法是？

单选题 · mid

  • A.不再随机丢弃且按概率缩放← 正确答案
  • B.继续随机丢弃一部分神经元
  • C.把所有神经元权重置为零
  • D.只保留一个隐藏层参与计算

答案：A。推理时模型必须保持确定性，因此不随机丢弃，而是通过缩放（Inverted Dropout 在训练时除以 p）保证期望一致。若推理时继续随机丢，同一个输入每次输出都不一样。

Q5. 偏差-方差分解中，哪一项是无论模型多好都无法消除的？

单选题 · hard

  • A.偏差平方项
  • B.方差项
  • C.噪声项← 正确答案
  • D.模型复杂度项

答案：C。噪声是数据本身固有的随机波动，是误差的下限，任何模型都绕不开。偏差和方差可以通过选择模型与正则化调节，唯独噪声“天注定”。正则化能做的就是降低方差、稍微抬高偏差，换取整体误差下降。

Q6. L2 正则化对模型参数的影响是？

单选题 · easy

  • A.参数被整体缩小但很少归零← 正确答案
  • B.参数被精准地压缩为零
  • C.参数保持原样完全不变
  • D.参数随机增大或减小

答案：A。L2 的圆形可行域没有尖角，最优解通常落在坐标轴之外，所以参数只会被等比缩小，极少精确为 0。如果你需要特征选择，应该用 L1。

Q7. 早停法（Early Stopping）被看作正则化的原因是？

单选题 · hard

  • A.限制了训练迭代次数约束模型复杂度← 正确答案
  • B.相当于对数据做了随机翻转
  • C.让模型学会了更多特征交互
  • D.直接删除了部分训练样本

答案：A。早停通过提前终止迭代，限制了模型在参数空间中的“活动范围”，等效于对权重范数施加约束，因此是一种隐式正则化。数据增强和删样本是另一类手段，方向不同。

Q8. 下列哪些做法属于正则化手段？

多选题 · easy

  • A.对训练图片做旋转翻转← 正确答案
  • B.网络中加入 Dropout 层← 正确答案
  • C.把学习率从 0.1 调到 0.01
  • D.使用交叉验证划分数据

答案：AB。数据增强通过增加样本多样性抑制过拟合，Dropout 则是典型的深度网络正则化。学习率属于优化策略，交叉验证属于评估策略，都不属于正则化手段。

Q9. 关于 L1 与 L2 正则化，下列说法正确的是？

多选题 · mid

  • A.L1 可以做特征选择← 正确答案
  • B.L2 参数更小但通常非零← 正确答案
  • C.L1 对参数的缩小是均匀等比
  • D.L2 在深度学习中等价于权重衰减← 正确答案

答案：ABD。L1 的菱形边界导致参数稀疏，适合特征选择；L2 的圆形边界导致参数整体缩小但非零。等比缩小是 L2 的特点，L1 是软阈值减法。权重衰减与 L2 在梯度更新上严格等价。

Q10. 训练一个深度模型发现过拟合，合理的“组合拳”包括？

多选题 · hard

  • A.增加数据增强策略← 正确答案
  • B.使用早停监控验证集← 正确答案
  • C.把网络层数再加深三层
  • D.调大权重衰减系数← 正确答案

答案：ABD。数据增强、早停、增大权重衰减都是抑制过拟合的手段。加深网络会增加模型容量，通常会让过拟合更严重，方向正好相反。面试时说清“先诊断再用药”，就是加分项。