想象你是一位经验丰富的驯马师。马匹（模型）天生野性十足，如果任凭它自由驰骋，它会记住训练场上的每一处坑洼和碎石（训练数据的每一个噪声点），跑得再欢也上不了比赛场。你手里握着一根缰绳（正则化），而缰绳的松紧度——也就是正则系数 λ——决定了这匹马是乖乖沿着大路跑（泛化良好），还是撒欢冲进草丛（过拟合），抑或是被勒得寸步难行（欠拟合）。 正则系数调节术，就是教你找到那个完美的“松紧平衡点”。这根缰绳不能太松（λ 太小，模型记住了噪声），也不能太紧（λ 太大，模型连大路都不愿意跑了）。在机器学习的世界里，这根缰绳有一个学名叫做“正则化强度”，而调节它有一套系统的方法论：从理解过拟合与欠拟合的根源，到掌握 L1/L2 正则化的数学奥秘，再到用交叉验证精准地拧紧每一格缰绳。

岗位关联

掌握正则系数调节术，意味着你能在面试中自信讲出“为什么加了这个超参数我的模型更准了”，更能在实际项目里用一把刻度精细的“缰绳”解决 AI 产品最常见的“线上翻车”问题——过拟合。这是每个调参工程师进阶的必修课。

目录
  1. 可视化演示
  2. 过拟合与欠拟合的根源
  3. 正则系数的本质
  4. L1正则化的稀疏魔法
  5. L2正则化的平滑之力
  6. 系数的组装与协同
  7. 网格搜索寻最优λ
  8. 交叉验证评估泛化
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示梯度下降算法在损失函数等高线上的优化路径：标准SGD与动量优化器的收敛过程对比。

本节配有交互动效（进入视口后自动加载，约 3KB）。

标准SGD 沿梯度反方向逐步更新参数，在椭圆型损失函数上呈锯齿形收敛路径 θ ← θ - η∇L(θ) 当前展示标准随机梯度下降的优化路径

过拟合与欠拟合的根源

驯马师的第一课，是学会观察马的状态。如果一匹马在训练场上能做出完美的障碍跨越，但一到正式比赛场就频频撞杆，这不是马出了问题，而是它把训练场上插的每一面小旗子都当成了“必须记住的路标”。这对应机器学习中的过拟合：模型在训练数据上学得太“精细”，把噪声也当成了规律。

为什么会这样？当你的模型有足够的“自由度”——比如一个 8 次多项式去拟合仅仅 20 个数据点——它可以像杂技演员一样扭曲自己的形状，穿过每一个数据点。但这条扭曲的曲线在没见过的数据上会剧烈震荡，产生巨大的预测误差。相反，如果用一个二次函数去拟合明显是波浪形分布的数据，模型又会过于简单，这叫做欠拟合。

欠拟合和过拟合的分界线在哪里？泛化差距——训练误差与测试误差之间的差值——是最灵敏的信号。训练误差很低？说明模型“背下来了”。测试误差很高？说明它“没学会”。

驯马师不会等到比赛才开始判断马的状态，而是通过观察训练场与赛场的表现差来随时调整缰绳。当我们发现模型开始在训练集上“炫技式地拟合”时，就是时候拧紧缰绳了。

泛化差距=E[L测试(fw^)]−E[L训练(fw^)]\text{泛化差距} = \mathbb{E}[\mathcal{L}_{\text{测试}}(f_{\hat{w}})]-\mathbb{E}[\mathcal{L}_{\text{训练}}(f_{\hat{w}})]
泛化差距就是训练场表现和真正比赛表现之间的落差。落差越大，说明马儿越是在“背路标”而不是“学跑法”。
  1. 测试损失期望模型在未知数据上的平均失误水平，相当于正式比赛的失分
    E[L测试(fw^)]\mathbb{E}[\mathcal{L}_{\text{测试}}(f_{\hat{w}})]
  2. 训练损失期望模型在训练数据上的平均失误，相当于日常训练场上的失分
    E[L训练(fw^)]\mathbb{E}[\mathcal{L}_{\text{训练}}(f_{\hat{w}})]
  3. 两者之差这个差值从 0 开始拉大，就是过拟合在悄悄发生的信号
    +  差值+\;\text{差值}

正则系数的本质

现在我们要为缰绳装上“量程刻度”。缰绳的松紧度在机器学习中对应一个关键的数值——正则系数 λ。它的作用是在损失函数中增加一项惩罚，让模型在追求“预测更准”的同时，也要付出“复杂度”的代价。

直观上，我们要的模型是一个“尽量简单又能解释数据”的平衡态。这就像驯马师既要马儿跑得快，又不能让它信马由缰。加权的方式是修改目标函数：

其中第一部分是原本的训练损失（比如均方误差），第二部分是正则化项，λ 在这里扮演“力度旋钮”。λ=0 意味着完全不惩罚，模型爱怎么弯就怎么弯；λ 趋向无穷大，模型会被压成一个最简单的常量预测。

λ 放大了“复杂度惩罚”在总目标函数中的权重，相当于给马儿脖子上的缰绳每多拧一格，它想低头乱跑就得花更大的力气。于是模型必须学会用更“经济”的方式拟合数据——用较小的权重、较平滑的曲线来完成同样的任务。

λ 的选择就是一个定价策略：绳子拧太紧，马儿为了不挨勒干脆停下来不走——所有特征权重趋近于零；绳子太松，罚款形同虚设——模型继续它的“噪声模仿秀”。合适的 λ 是那个让马儿能感觉到约束，但依然愿意奋力前跑的状态。

J(w)=Loss(w)+λ⋅R(w)J(\mathbf{w}) = \text{Loss}(\mathbf{w}) + \lambda \cdot R(\mathbf{w})
λ 的本质是把“模型复杂度”标了价格，让优化器在选择权重时自动权衡“准确性”与“简洁性”的性价比。
  1. 损失函数衡量模型预测值与真实值的差距，是“模型当前的失误水平”
    Loss(w)\text{Loss}(\mathbf{w})
  2. 正则化项模型复杂度的价格标签。权重越大或越分散，价格越高
    λ⋅R(w)\lambda \cdot R(\mathbf{w})
  3. 目标函数总代价 = 失误 + 复杂度成本。优化器要同时最小化两者
    J(w)=Loss(w)+λ⋅R(w)J(\mathbf{w}) = \text{Loss}(\mathbf{w}) + \lambda \cdot R(\mathbf{w})

L1正则化的稀疏魔法

在正则化的大家族里，L1 正则化是一把锋利的“修剪刀”。它的正则化项是所有权重绝对值的和：

L1 惩罚的特殊之处在于，在最优解处，许多权重会被精确地压在 0 上。为什么？一个形象的比喻是“九宫格弹珠”：L1 正则化项的形状在等高线图上是一个菱形（或高维“菱形”），它与目标函数的等高线相切时，切点往往落在坐标轴上，此时某个特征的权重恰好为 0。

这使得 L1 正则化（对应 Lasso 回归）天然地做了一件事：自动特征选择。在基因表达数据这种“特征成千上万、样本只有几百”的场景里，L1 可以把无关基因的权重直接剪成 0，只保留少数关键的基因作为“核心赛马”。

回到驯马的比喻：L1 就像一个苛刻的驯马师，发现某根缰绳对控制方向没用，就干脆把它剪掉。于是马儿身上的“缰绳”越来越少，但每根都是精挑细选的关键路线。这在高维稀疏场景中特别宝贵——你得到的不只是一个预测模型，更是一张“哪些因素真正重要”的清单。

RL1(w)=∑j=1n∣wj∣R_{L1}(\mathbf{w}) = \sum_{j=1}^{n} \left| w_j \right|
w^lasso=arg⁡min⁡w{12m∑i=1m(y(i)−w⊤x(i))2+λ∑j=1n∣wj∣}\hat{\mathbf{w}}^{\text{lasso}} = \arg\min_{\mathbf{w}} \left\{ \frac{1}{2m}\sum_{i=1}^{m} (y^{(i)}-\mathbf{w}^{\top}\mathbf{x}^{(i)})^2 + \lambda \sum_{j=1}^{n} \left| w_j \right| \right\}
当 λ 逐渐增大时，权重逐个被“清零”，这个过程叫正则化路径，就像一把剪刀从枝条最外围开始修剪。
  1. 均方误差项预测值与真实值的差距，是模型要最小化的主要目标
    12m∑i=1m(y(i)−w⊤x(i))2\frac{1}{2m}\sum_{i=1}^{m} (y^{(i)}-\mathbf{w}^{\top}\mathbf{x}^{(i)})^2
  2. L1 惩罚项所有权重绝对值之和，λ 控制“剪刀的力度”
    λ∑j=1n∣wj∣\lambda \sum_{j=1}^{n}\left|w_j\right|
  3. 求和整个过程找到让“误差 + 惩罚”最小的权重——这既是拟合也是剪枝
    w^lasso=arg⁡min⁡w{⋯ }\hat{\mathbf{w}}^{\text{lasso}} = \arg\min_{\mathbf{w}} \{ \cdots \}

L2正则化的平滑之力

与 L1 的锋利不同，L2 正则化是一位“均衡调理师”。它的惩罚项是权重的平方和：

L2 在优化时不会把权重压到零，而是按比例缩小每个权重。这让所有特征“雨露均沾”，每一项都有贡献但谁也不能主导。在等高线图上，L2 形成一个圆形约束区域，它和损失函数的切点通常不会落在坐标轴上，而是落在圆上的某个“平滑位置”。

L2 正则化对应岭回归。它的数学魅力在于，加上这个惩罚项后，即使原始数据的特征之间存在严重的多重共线性（特征们“串通一气”），正规方程的矩阵求逆也变得数值稳定了：

用驯马的语言来说，L2 缰绳不是剪掉缰绳，而是把每根缰绳的弹性调软：马儿依然有全套路线可选，但任何一条路线都不会“用力过猛”。当你的特征之间有相关性、且你不想丢失任何信息时，L2 是你温驯可靠的搭档。

RL2(w)=∑j=1nwj2R_{L2}(\mathbf{w}) = \sum_{j=1}^{n} w_j^2
w^ridge=arg⁡min⁡w{12m∑i=1m(y(i)−w⊤x(i))2+λ∑j=1nwj2}\hat{\mathbf{w}}^{\text{ridge}} = \arg\min_{\mathbf{w}} \left\{ \frac{1}{2m}\sum_{i=1}^{m}(y^{(i)}-\mathbf{w}^{\top}\mathbf{x}^{(i)})^2 + \lambda \sum_{j=1}^{n} w_j^2 \right\}
L2 的哲学是“分量虽多，但整体有节制”——每个权重都活得很好，但整个向量家族的总能量被控制住。
  1. 误差项与 Lasso 一样的均方误差，指“当前的预测失分”
    12m∑i=1m(y(i)−w⊤x(i))2\frac{1}{2m}\sum_{i=1}^{m}(y^{(i)}-\mathbf{w}^{\top}\mathbf{x}^{(i)})^2
  2. L2 惩罚项权重平方和，对大权重加倍惩罚，逼迫权重向量“瘦身”
    λ∑j=1nwj2\lambda \sum_{j=1}^{n} w_j^2
  3. 整体目标保持预测准确的前提下，让权重向量的 L2 范数最小
    w^ridge=arg⁡min⁡w{⋯ }\hat{\mathbf{w}}^{\text{ridge}} = \arg\min_{\mathbf{w}} \{\cdots\}

系数的组装与协同

在实战中，你不必二选一——缰绳和剪刀可以同时使用。这就是 ElasticNet（弹性网）：将 L1 和 L2 惩罚同时加入目标函数，用一个混合比例对二者进行加权：

两个惩罚项各有分工：L1 部分负责“剔除无关特征”（让很多权重变为 0），L2 部分负责“平滑稳定”（让剩余权重不至于过大）。实践中通常将 L1 部分的占比记为 l1_ratio，那么 λ_a 和 λ_b 可以用总惩罚力度 λ 和 l1_ratio 共同表达。

为什么要组装？想象一个场景：有 100 个特征互相高度相关。如果只使用 L1，模型可能会随机挑其中一个代表，而丢弃其他 99 个——这就像驯马师只看了一根缰绳，就剪掉了所有其他缰绳。如果只使用 L2，所有 100 个特征的权重都会被保留并缩小——就像驯马师每根缰绳都轻轻拉，但哪根都不放手。弹性网则智能地“分组选择”：它把相关的特征作为一个整体保留（L2 的效果），同时剔除完全无关的组（L1 的效果）。

当你的数据特征既多又相关时，不必纠结地二选一，而是同时握住两套工具。这体现了超参数调优的精髓——不是寻找单一解，而是协调一组“旋钮”之间的最佳平衡。

J(w)=Loss(w)+λ1∑j=1n∣wj∣+λ2∑j=1nwj2J(\mathbf{w}) = \text{Loss}(\mathbf{w}) + \lambda_1 \sum_{j=1}^{n}\left|w_j\right| + \lambda_2 \sum_{j=1}^{n} w_j^2
λ1=λ×l1_ratio,λ2=λ×(1−l1_ratio)\lambda_1 = \lambda \times \text{l1\_ratio}, \quad \lambda_2 = \lambda \times (1 - \text{l1\_ratio})
这就是正则化路径可视化的价值：看着权重系数随 λ 变化的轨迹，如同观看驯马师的调校记录——每一步修剪了哪根缰绳，放大了哪个方向的力量。
  1. 弹性网惩罚既有 L1 的绝对值剪枝，又有 L2 的平方收缩
    λ1∑j=1n∣wj∣+λ2∑j=1nwj2\lambda_1 \sum_{j=1}^{n}\left|w_j\right| + \lambda_2 \sum_{j=1}^{n} w_j^2
  2. 混合比例l1_ratio 决定剪刀与缰绳的力度配比
    l1_ratio\text{l1\_ratio}
  3. 总缩放总力度 λ 统一缩放整个惩罚项组合
    λ1=λ×l1_ratio,λ2=λ×(1−l1_ratio)\lambda_1=\lambda\times\text{l1\_ratio},\quad \lambda_2=\lambda\times(1-\text{l1\_ratio})

网格搜索寻最优λ

如何找到最好的 λ？最直接的方法是网格搜索——准备一组候选值，逐一让模型在上面“试跑”，选出表现最好的。但 λ 的取值尺度常常跨越多个数量级（0.0001 到 10 之间），推荐用对数尺度均匀取点。

为什么用对数尺度？因为 λ 在 0.001 到 0.01 之间的变化对模型行为的影响，与在 1 到 10 之间的影响是同等重要的。如果用线性取点，0 到 1 之间挤满了值，而 10 到 100 之间却只安排一个值，就好比驯马师只在缰绳最松的 1 厘米内反复微调，却对余下 99 厘米的行程粗放对待。

在 scikit-learn 中，GridSearchCV 和 RandomizedSearchCV 是常用的工具。GridSearchCV 在超参数网格上“梳头式”地逐一扫过，而 RandomizedSearchCV 则用随机抽样——在高维调参中效率高得多。

网格搜索是“笨拙但有效”的暴力美学。结合后面的交叉验证，我们可以系统地扫描整根缰绳的每个档位，用数据做出最稳妥的选择，而不是靠感觉拍脑袋。

λcandidates={10−4,10−3,10−2,10−1,100,101}\lambda_{\text{candidates}} = \{ 10^{-4}, 10^{-3}, 10^{-2}, 10^{-1}, 10^{0}, 10^{1} \}
调参是一场试错的艺术：对数尺度给这根缰绳装上了刻度均匀的标尺，让你在松与紧的各个档位都有试跑的机会。
  1. 候选 λ 集以 10 的幂次为档位，覆盖一个数量级范围
    λcandidates={10−4,10−3,10−2,10−1,100,101}\lambda_{\text{candidates}}=\{10^{-4},10^{-3},10^{-2},10^{-1},10^{0},10^{1}\}
  2. 对数均匀性相邻档位之间的乘法距离相同，保证各量级都被等量对待
    log⁡10(λk+1)−log⁡10(λk)=1\log_{10}(\lambda_{k+1})-\log_{10}(\lambda_k)=1

交叉验证评估泛化

最后一环是评估——如何在调参的过程中不“再次过拟合”？如果我们在同一份数据上试了 100 个 λ，等于是把测试集也变成了训练集，这时候的“好成绩”就失去了意义。解决办法：交叉验证。

K 折交叉验证将数据划分为 K 份，每次取其中 1 份作为验证集，剩下 K-1 份作为训练集，轮流 K 次，最终取 K 次验证误差的平均值来评估当前 λ 的效果。

配合学习曲线（训练误差与验证误差随数据量变化的曲线），可以判断模型当前的状态：两条曲线收敛于同一高位 = 欠拟合；训练误差低而验证误差高 = 过拟合；两者收敛于一个较低的值 = 最优。

驯马师不会只在一场比赛后评判马匹的实力，而是让马儿在各种天气、场地条件下反复参赛。K 折交叉验证就是一种“让马儿参加 K 场比赛，取平均成绩”的评估机制。有了这个公正的裁判，你对 λ 的选择才算真正站在了“泛化”这一边。

CV(λ)=1K∑k=1KLval(k)(w^−k(λ))\text{CV}(\lambda) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{L}_{\text{val}}^{(k)} (\hat{\mathbf{w}}_{-k}(\lambda))
交叉验证是你调参时的罗盘——它用一个更诚实的方式“多次模拟比赛”，避免你在训练场上沾沾自喜、比赛场上原形毕露。
  1. 第 k 折验证损失把第 k 份数据当作临时赛场，用它检验模型
    Lval(k)(w^−k(λ))\mathcal{L}_{\text{val}}^{(k)}(\hat{\mathbf{w}}_{-k}(\lambda))
  2. K 次平均每个折轮流当“赛场”，平均后得到某 λ 值的公正评分
    1K∑k=1K\frac{1}{K}\sum_{k=1}^{K}
  3. K 折交叉验证模型参数中带上 -k 下标，表示该折训练时没有见过验证集
    CV(λ)=1K∑k=1KLval(k)\text{CV}(\lambda) = \frac{1}{K} \sum_{k=1}^{K} \mathcal{L}_{\text{val}}^{(k)}

AI 应用场景

金融风控模型的正则系数调优

阶段：模型训练与超参数调优

解决的问题：信贷风控中特征维度常达数百（收入、负债、流水波动等），直接训练的模型过拟合严重，在真实客户上预测失准。传统方法靠手工反复试 λ，效率低且易陷局部最优。

具体案例：某互联网银行构建信用评分模型时，用 Lasso 回归（L1 正则化）对 300 维特征做自动筛选，将无效特征压缩为 0；同时用交叉验证扫描 λ 从 0.001 到 10 的候选集，最终仅保留 23 个关键特征，测试集 AUC 提升 12%，模型可解释性显著增强。

深度学习权重衰减的 λ 调节

阶段：深度模型训练调优

解决的问题：深度学习中的 dropout 与权重衰减（L2 正则化）都依赖合适的正则系数。在图像分类任务中，λ 过大会导致模型欠拟合（准确率低），过小则使模型记住训练集噪声（验证集准确率波动大）。

具体案例：一位算法工程师在 ResNet 图像分类模型调参中，用对数网格搜索（5e-4 到 1e-2 共 12 个值）配合 3 折验证，发现权重衰减系数为 2e-3 时验证准确率最高、且训练曲线最平滑。该配置被延续到后续多个视觉模型微调中。

Python 演示

python39 行
# -*- coding: utf-8 -*-"""使用交叉验证对比不同正则系数下的岭回归与Lasso性能"""import numpy as npfrom sklearn.linear_model import Ridge, Lasso, ElasticNetfrom sklearn.model_selection import cross_val_score, KFoldfrom sklearn.preprocessing import PolynomialFeatures # 1. 生成带噪声的模拟数据rng = np.random.RandomState(42)X = np.linspace(0, 1, 60).reshape(-1, 1)y_true = np.sin(2 * np.pi * X.ravel())y = y_true + rng.normal(0, 0.2, X.shape[0]) # 2. 用8次多项式特征模拟高维场景poly = PolynomialFeatures(degree=8)X_poly = poly.fit_transform(X)print("特征维度:", X_poly.shape[1]) # 3. 候选lambda列表(对数尺度)lambdas = np.logspace(-4, 1, 12)kfold = KFold(n_splits=5, shuffle=True, random_state=42) # 4. 对不同lambda评估岭回归的交叉验证分数for name, Model in [("Ridge", Ridge), ("Lasso", Lasso), ("ElasticNet", ElasticNet)]:    print("\n=== " + name + " ===")    best_score = -np.inf    best_alpha = None    for alpha in lambdas:        if name == "ElasticNet":            model = Model(alpha=alpha, l1_ratio=0.5, max_iter=10000)        else:            model = Model(alpha=alpha, max_iter=10000)        scores = cross_val_score(model, X_poly, y, cv=kfold, scoring="neg_mean_squared_error")        avg = scores.mean()        if avg > best_score:            best_score = avg            best_alpha = alpha        print("lambda={:.4f}  CV MSE={:.4f}".format(alpha, -avg))    print("最佳lambda: {:.4f}  最佳CV MSE: {:.4f}".format(best_alpha, -best_score))
目的：通过 5 折交叉验证比较岭回归、Lasso、弹性网在不同正则系数 λ 下的表现，自动找到最优 λ。
  1. lambdas = np.logspace(-4, 1, 12)以对数尺度生成 12 个候选 λ，覆盖 0.0001 到 10 整个数量级范围。
  2. PolynomialFeatures(degree=8)将 1 维输入扩展到 9 维多项式特征，模拟“特征多而样本少”的高维过拟合场景。
  3. KFold(n_splits=5, shuffle=True, random_state=42)设置 5 折交叉验证，乱序打散并固定随机种子保证可重复实验。
  4. cross_val_score(model, X_poly, y, cv=kfold)对每个 λ 自动执行 5 折训练与验证，返回平均值作为评估分数。
  5. Model(alpha=alpha, l1_ratio=0.5)弹性网额外指定 l1_ratio=0.5，让 L1 与 L2 各占一半。

常见误区

误区我总以为 λ 越大正则化越强，模型就越不会过拟合，所以直接设一个很大的值（比如 100）一劳永逸。

正解λ 过大的确能抑制过拟合，但代价是模型变得过于简单——所有特征权重都被压到接近 0，模型退化为“预测均值”的常量。正如缰绳勒得太紧，马儿直接站在原地不动了。正确做法是用交叉验证在欠拟合与过拟合之间寻找中间点，而不是盲目追求大 λ。

为何常见：初学者看到“正则化防止过拟合”就误以为力度越大越好，忽略了正则化本质是和拟合能力的对抗。

误区加了 L2 正则化就不用担心过拟合了，只要 λ 合适，模型就一定能泛化。

正解正则化是“缰绳”，但缰绳不能替代骑术。如果数据质量极差（噪声占比过高）、特征本身无预测力，再好的正则化也无济于事。过拟合的处理是一个系统工程：数据清洗、特征工程、模型选择、正则化协同作战。

为何常见：人天生倾向于寻找“一劳永逸”的单点解法，而忽略了机器学习是多种策略的组合平衡。

误区都是惩罚权重大小，L1 和 L2 应该没啥区别吧，随便选一个就行。

正解二者存在本质区别：L1 把不重要的权重精确压到 0（特征选择），L2 将权重等比缩小但保留非零。L1 适合稀疏场景（特征多、冗余大），L2 适合特征间相关性强的情况。用错场景就像把剪刀当缰绳用——要么剪没了必要信息，要么拴不住野马。

为何常见：初学者只在浅层看到两者都有“缩小权重”的共性，没有深入到最优解几何结构层面的差异。

误区交叉验证分数最高的 λ 一定是最好的，直接拿去上线就对了。

正解交叉验证分数估算的是模型在当前数据分布上的泛化能力。如果你的数据采集方式存在偏差（比如采集时间段非同分布）、或验证数据与真实线上数据分布不一致，CV 分数就会“失真”。应该检查学习曲线、评估验证集与训练集分布差异，最后还需留出独立的测试集做最终确认。

为何常见：人对“数字越高越好”有着天然的直觉信任，而忽略了分数背后的数据分布前提假设。

面试题

Q1. 正则系数 λ 的核心作用是什么？

单选题 · easy

  • A.控制模型的训练时间
  • B.控制惩罚项在损失函数中的权重← 正确答案
  • C.增加模型的隐藏层数量
  • D.加速梯度下降的收敛速度

答案：B。λ 直接乘在正则化项上，决定了对模型复杂度的惩罚力度。它不控制训练时间、不改变网络结构，也不直接影响优化算法，只调节“复杂度成本”在总损失中的占比。

Q2. 当 λ=0 时，正则化模型退化为：

单选题 · easy

  • A.使用更多训练数据的模型
  • B.不加任何正则化的原始模型← 正确答案
  • C.完全欠拟合的常量模型
  • D.无法训练的无效模型

答案：B。λ=0 时正则化项完全消失，损失函数只剩原始的训练误差项，模型退化为无正则化版本。此时它可能过拟合，但依然是合法可训练的模型。

Q3. 相比 L2 正则化，L1 正则化最独特的性质是：

单选题 · mid

  • A.降低模型训练速度
  • B.让部分权重精确变为零← 正确答案
  • C.只适用于神经网络模型
  • D.保证损失函数严格收敛

答案：B。L1 的菱形约束区域使最优解容易落在坐标轴上，部分权重精确等于 0，从而自动做特征选择。L2 的圆形约束不会产生精确的 0。这一特性是两者最核心的区别。

Q4. 在岭回归中，随着 λ 从 0 逐渐增大，权重向量 w 的变化趋势是：

单选题 · mid

  • A.从稀疏变为稠密
  • B.不断增大趋近无穷
  • C.不断缩小趋近于 0 但不为 0← 正确答案
  • D.先增大后减小再增大

答案：C。L2 惩罚项 λ∑w² 会按比例压缩每个权重。λ 越大压缩越强，权重向量整体长度趋近于 0，但单个权重一般不会精确变为 0。权重也不会随 λ 增大而变大。

Q5. 以下哪些说法可以判断一个模型处于过拟合状态？

多选题 · mid

  • A.训练损失很低但验证损失很高← 正确答案
  • B.训练损失和验证损失都很低
  • C.模型记住了训练数据中的噪声← 正确答案
  • D.训练损失和验证损失都处于高位

答案：AC。过拟合的核心信号是泛化差距大——训练表现好但验证表现差。选项 A 就是这种状态的直接描述，选项 C 是过拟合的本质原因。B 是理想状态，D 是欠拟合的表现。

Q6. 在 ElasticNet 中，l1_ratio=0.8 的含义是什么？

单选题 · mid

  • A.惩罚中 80% 来自 L2、20% 来自 L1
  • B.惩罚中 80% 来自 L1、20% 来自 L2← 正确答案
  • C.λ 的计算只使用 L1 正则化
  • D.λ 的计算只使用 L2 正则化

答案：B。l1_ratio 控制 L1 在总惩罚中的占比。l1_ratio=0.8 表示 L1 惩罚占 80%，L2 占 20%。公式为 λ₁=λ×l1_ratio 和 λ₂=λ×(1−l1_ratio)。

Q7. 为什么 λ 的候选值通常用 logspace 而非 linspace 生成？

单选题 · hard

  • A.因为 logspace 生成的数值总是更大
  • B.因为 λ 对模型的影响跨越多个数量级← 正确答案
  • C.因为 linspace 无法生成正数
  • D.因为 logspace 计算速度更快

答案：B。λ 从 0.001 到 0.01 的变化与从 1 到 10 的变化对模型的影响是同等量级的，因此需要在对数尺度上均匀取点。这是数量级跨度大的超参数的通用做法。

Q8. 在 K 折交叉验证中选择 λ 时，以下哪些做法正确？

多选题 · hard

  • A.用验证集平均误差最小的 λ 作为最终选择← 正确答案
  • B.直接在测试集上尝试多个 λ 选出最好
  • C.每折训练时不接触当折的验证数据← 正确答案
  • D.用同一份数据既调参又评估最终效果

答案：AC。交叉验证用各折验证误差的平均值来评估 λ，并保证每折训练数据不参与该折的验证，这是防止偶发波动的正确流程。B 和 D 都在调参过程中“偷看”测试信息，会导致泛化膨胀。

Q9. Lasso 回归对应的是哪种正则化？

单选题 · easy

  • A.L2 正则化
  • B.L1 正则化← 正确答案
  • C.弹性网正则化
  • D.Dropout 正则化

答案：B。Lasso 回归的标准定义是在线性回归目标中加入 L1 惩罚（权重绝对值之和），因此会产生稀疏权重。这是它的标志性特性。

Q10. 关于正则化超参数调节，以下哪些认识正确？

多选题 · mid

  • A.正则化系数需要与模型结构一起调优← 正确答案
  • B.最优 λ 应该用训练误差最小来判定
  • C.交叉验证是评估 λ 泛化能力的有效手段← 正确答案
  • D.λ 调节的目标永远是让模型更简单

答案：AC。λ 不是孤立调节的，它与模型结构、特征工程共同影响最终效果；评估 λ 必须看交叉验证误差而非训练误差，因为训练误差会被过拟合干扰。D 的错误在于调节目标是找到平衡点而非一味简单化。