深夜的战术室里，篮球教练老周面前摆着两样东西：一本写满常规战术的队内手册，和最近五场比赛的对手录像。只看手册，他赢不了比赛——对手的打法早变了；只看录像，他也会栽跟头——五场比赛里至少三场只是运气。老周真正需要的，是把“我原本怎么打”和“对手现在怎么打”揉在一起，得出一个既发挥自己特长、又不被对手版本碾压的最终方案。 这个“揉在一起”的动作，在数学里叫最大后验估计（MAP）。手册是他的“先验”，录像是他看到的“数据”，揉出来的方案就是“后验”。而训练机器学习模型时常见的正则化——L1、L2——本质上就是那本手册：频率派把它叫做“惩罚复杂模型”，贝叶斯派把它叫做“先验知识”。两条路讲的是同一件事。这篇文章，就带你站在桥上，把两套说法一次性看清。

岗位关联

理解 MAP 与正则化的等价关系，等于同时拿到频率派和贝叶斯派的两张地图：从此调参不再是玄学，而是有概率论兜底的设计。

目录
  1. 可视化演示
  2. MAP估计原理
  3. 从MLE到MAP
  4. 高斯先验与L2正则
  5. 拉普拉斯与L1正则
  6. 正则化防过拟合
  7. 先验强度与λ
  8. 贝叶斯统一视图
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

三步交互演示MAP估计与正则化的数学等价：MAP=ML+先验→损失+正则项、高斯先验对应L2与拉普拉斯先验对应L1、L1稀疏性机制。

本节配有交互动效（进入视口后自动加载，约 3KB）。

MAP与正则化等价性 后验∝似然×先验 取对数后等价于损失+正则项 MAP = argmin(Loss + λR) 正则化的本质是引入先验分布

MAP估计原理

老周在战术室里，手册和录像都在手。但他既不能只抄手册，也不能只抄录像，他要的是一个“综合考虑后最合理的方案”。这个直觉恰好是贝叶斯公式的核心思想：把“原本的信念”和“新看到的证据”合成“更新后的信念”。在统计里，“原本的信念”叫先验，“新看到的证据”叫似然，“更新后的信念”叫后验。

后验概率用数学写出来就是贝叶斯公式：后验正比于似然乘以先验。这里 $\theta$ 是模型参数——相当于战术方案里的各项设置；$X$ 是观测数据——相当于比赛录像。

MAP 估计（Maximum A Posteriori，最大后验估计）就是找出让后验概率最大的那个 $\theta$。因为 $P(X)$ 是常数，在求最大值时直接被丢弃，于是得到简化形式：

对教练老周来说，MAP 就是他在手册与录像之间找到的那个“最有把握”的方案——后验的峰值。而这个峰值的位置，既会被数据拽着走，也会被先验牵着绳。先验这跟绳，正是后面所有正则化故事的起点。

P(θ∣X)=P(X∣θ) P(θ)P(X)P(\theta \mid X) = \frac{P(X \mid \theta) \, P(\theta)}{P(X)}
MAP 的名字含义：取“后验最大”的那个点，作为参数的点估计。
  1. 丢弃证据$P(X)$ 不含 $\theta$，不影响最优解的位置。
    P(X∣θ)P(θ)P(X)∝P(X∣θ)P(θ)\frac{P(X \mid \theta) P(\theta)}{P(X)} \propto P(X \mid \theta) P(\theta)
  2. 乘法形式MAP = 最大化“似然 × 先验”，把数据和手册同时纳入考量。
    θ^MAP=arg⁡max⁡θ P(X∣θ) P(θ)\hat{\theta}_{\text{MAP}} = \arg\max_{\theta} \, P(X \mid \theta) \, P(\theta)

从MLE到MAP

如果只看录像，老周的战术就完全由那五场比赛决定，这叫最大似然估计（MLE），是频率派的典型做法：一切以数据说话。可五场比赛样本太少，照单全收就会把偶然失误当成对手的真实习惯——这就是过拟合的雏形。

MLE 的目标是最大化似然 $P(X \mid \theta)$。数据里每个样本独立时，似然是各样本概率的乘积，取对数能把连乘变成连加，求导更顺手，而且对数和原函数在同一位置取到最大值。

现在让老周把手册也带上。MAP 的目标是在 MLE 基础上多乘一个先验 $P(\theta)$，取对数后，乘法变成加法：

关键观察来了：MAP 与 MLE 的唯一差别，就是 $\log P(\theta)$ 这一项。手册越不可能，这项越负，模型就越不敢偏离手册。如果先验是高斯分布，$\log P(\theta)$ 正比于 $-\|\theta\|_2^2$——这就是 L2 正则；如果是拉普拉斯分布，正比于 $-\|\theta\|_1$——这就是 L1 正则。下面两节把这两条路分别走通。

θ^MLE=arg⁡max⁡θ log⁡P(X∣θ)\hat{\theta}_{\text{MLE}} = \arg\max_{\theta} \, \log P(X \mid \theta)
MAP = MLE + 先验项。多出来的 $\log P(\theta)$ 就是正则项。
  1. 先验项$\log P(\theta)$ 被加入目标函数。
    log⁡P(X∣θ)+log⁡P(θ)\log P(X \mid \theta) + \log P(\theta)
  2. 对数性质乘积的对数等于对数之和。
    log⁡[P(X∣θ)P(θ)]=log⁡P(X∣θ)+log⁡P(θ)\log \left[ P(X \mid \theta) P(\theta) \right] = \log P(X \mid \theta) + \log P(\theta)
  3. MAP 解MLE 目标 + 先验项，两项拉锯。
    θ^MAP=arg⁡max⁡θ[log⁡P(X∣θ)+log⁡P(θ)]\hat{\theta}_{\text{MAP}} = \arg\max_{\theta} \left[ \log P(X \mid \theta) + \log P(\theta) \right]

高斯先验与L2正则

老周的助手小陈说：“我研究十年对手，发现他们整体打法的每个环节都很少离谱，偏差从来不会太大。”这个“每个环节都不离谱”的信念，数学上就是高斯先验：参数大概率聚在 0 附近，离 0 越远越不可能，且偏离是平滑的、渐进的。

假设每个参数 $\theta_j$ 独立地服从均值为 0、方差为 $\sigma_p^2$ 的高斯分布，写出概率密度：

把概率最大化改成损失最小化，取负对数：

把这一项塞进 MAP 的最小化目标，配合高斯噪声假设下数据拟合的残差平方和（RSS），就得到岭回归（Ridge Regression）：

小陈的哲学——“整体微调、不搞极端”——就是 L2 正则的脾气。它的约束等高线是圆球，处处光滑，所以参数是整体向 0 收缩，但不会精确变成 0，除非它本来就该是 0。

P(θj)=12πσp2exp⁡(−θj22σp2)P(\theta_j) = \frac{1}{\sqrt{2\pi \sigma_p^2}} \exp\left(-\frac{\theta_j^2}{2\sigma_p^2}\right)
高斯先验 → L2 正则 → 岭回归，数学上完全等价。
  1. 残差平方和数据拟合项，来自高斯噪声假设下的负对数似然。
    ∑i=1n(yi−xi⊤θ)2\sum_{i=1}^{n} (y_i - x_i^{\top}\theta)^2
  2. L2 正则项来自高斯先验的负对数，惩罚参数范数的平方。
    λ∥θ∥22\lambda \|\theta\|_2^2
  3. 系数 λ噪声方差与先验方差的比值，控制手册的分量。
    λ=σn2σp2\lambda = \frac{\sigma_n^2}{\sigma_p^2}

拉普拉斯与L1正则

另一个助手小赵提出相反的看法：“我研究完录像发现，对手的战术手册大部分小节根本不用动，只有两三个关键小节要彻底改写。”——“大多数不动、少数大动”。这种信念数学上就是拉普拉斯先验：概率密度在 0 处形成一个尖峰，尾巴比高斯厚得多。

拉普拉斯分布的概率密度为：

同样取负对数转成损失形式：

把这一项放进 MAP 目标，就得到 Lasso：

小赵的哲学——“大部分不动、少数大动”——就是 L1 的稀疏解：因为菱形约束的尖角正好坐在坐标轴上，最优解撞到尖角时，某些参数就精确等于 0。教练用 L1，就是告诉模型：把精力留给少数真正关键的变化。

P(θj)=12bexp⁡(−∣θj∣b)P(\theta_j) = \frac{1}{2b} \exp\left(-\frac{|\theta_j|}{b}\right)
拉普拉斯先验 → L1 正则 → Lasso，同样完全等价。
  1. L1 惩罚项绝对值和作为正则项。
    λ∥θ∥1\lambda \|\theta\|_1
  2. 菱形几何L1 的约束区域是菱形，角点在坐标轴上，最优解更容易落在角点上。
    ∣θ1∣+∣θ2∣≤c|\theta_1| + |\theta_2| \le c

正则化防过拟合

为什么正则化能防过拟合？老周有惨痛教训：有一年他完全照搬五场录像，结果季后赛对手换了首发阵容，他当场被打懵——那套战术“过拟合”了五场样本。数据太少时，模型为了把每个训练点都拟合到位，参数可以取到很大的值，函数形状可以扭曲得不成样子。

正则化相当于给参数加了一个“活动半径”：L2 让每个参数别跑太远，L1 让大部分参数老老实实待在 0。这样一来，拟合曲线只能保持相对平滑，无法刻意迎合每一个噪声点。数学上，这种权衡可以用偏差-方差分解说清楚：

教练放弃一点“完全贴合录像”的执念（偏差增大），换来“换一批录像也能打”的稳定（方差大幅下降）。正则化就是这笔“用少量偏差换大量稳定”的交易——魔鬼不在拟合得有多好，而在换一个数据集还能不能打。

E[(y−f^(x))2]=σ2+Bias2(f^(x))+Var(f^(x))\mathbb{E}\left[(y - \hat{f}(x))^2\right] = \sigma^2 + \text{Bias}^2(\hat{f}(x)) + \text{Var}(\hat{f}(x))
总误差 = 不可约噪声 + 偏差² + 方差。正则化用一点点偏差，换大幅的方差下降。
  1. 总误差模型预测与真实值之差的期望平方。
    E[(y−f^(x))2]\mathbb{E}\left[(y - \hat{f}(x))^2\right]
  2. 噪声 σ²数据本身不可约的随机性，任何模型都无法消除。
    σ2\sigma^2
  3. 偏差 Bias模型对真实规律的系统性偏离，比如“不敢做太大调整”。
    Bias2(f^(x))\text{Bias}^2(\hat{f}(x))
  4. 方差 Var模型在不同训练集上的波动，波动越大越容易过拟合。
    Var(f^(x))\text{Var}(\hat{f}(x))

先验强度与λ

手册的“分量”由谁决定？老周的战术室里有个旋钮：往左拧是完全信任录像（λ 小），往右拧是完全信任手册（λ 大）。旋钮拧到哪，不能拍脑袋，得用热身赛检验——这就是交叉验证。

从贝叶斯推导看，λ 不是凭空冒出来的。在前面推导岭回归时，L2 正则系数来自两个方差的比值：

实践中 λ 通常靠交叉验证来选：把训练集切成 k 份，轮流拿 1 份当验证集、其余 k-1 份训练，记录每个 λ 下的平均验证误差，选误差最小的那个：

把 λ 看作“对先验的信任度”，它在贝叶斯里被称为超参数——位于参数 θ 之上的更高层控制旋钮。老周用热身赛（验证集）检验手册和录像的比例，数据科学家用交叉验证调 λ，本质是同一件事：不让任何一方完全说了算。

λ=σn2σp2\lambda = \frac{\sigma_n^2}{\sigma_p^2}
数据噪声越大、或先验越窄，λ 就越大，参数被压得越狠。
  1. k 折切分训练集被分成 k 份，每份轮流做验证集。
    {D1,D2,…,Dk}\{D_1, D_2, \ldots, D_k\}
  2. 平均验证损失k 次验证误差的平均值，衡量这个 λ 的真实水平。
    1k∑i=1kLi(λ)\frac{1}{k} \sum_{i=1}^{k} \mathcal{L}_i(\lambda)
  3. 最优 λ让平均验证损失最小的那个旋钮位置。
    λ∗=arg⁡min⁡λ1k∑i=1kLi(λ)\lambda^{*} = \arg\min_{\lambda} \frac{1}{k} \sum_{i=1}^{k} \mathcal{L}_i(\lambda)

贝叶斯统一视图

站在桥中间回头看，老周终于想明白：手册不是录像的敌人，它们是一个硬币的两面。频率派只带录像就上场——那是最没正则的 MLE；贝叶斯派带上手册和录像——那是 MAP。而所有正则化，都是手册的数学化身。

把三者放进一个统一公式：对后验取负对数，最大化后验变成最小化“负对数后验”，它恰好拆成数据拟合项加先验项：

更进一步，完整的贝叶斯推断是求出整个后验分布 $P(\theta \mid X)$，而 MAP 只是这个分布的最高点——一个点估计。想要“参数有多大可能在某个区间”，需要完整的后验分布或采样方法。但即便 MAP 只是冰山一角，它也足以搭起这座桥：频率派眼中的“正则化防过拟合”，就是贝叶斯派眼中的“先验让估计更合理”。老周的战术手册、比赛录像、最终方案——频率派和贝叶斯派只是站在桥的两端，看着同一条河。MAP 与正则化，就是这座桥。

−log⁡P(θ∣X)=−log⁡P(X∣θ)−log⁡P(θ)+const-\log P(\theta \mid X) = -\log P(X \mid \theta) - \log P(\theta) + \text{const}
负对数后验 = 数据拟合损失 + 正则项 + 常数。频率派的“惩罚”就是贝叶斯派的“先验”。
  1. 负对数后验最大化后验等价于最小化它的负对数。
    −log⁡P(θ∣X)-\log P(\theta \mid X)
  2. 负对数似然数据拟合损失项，MLE 的全部内容。
    −log⁡P(X∣θ)-\log P(X \mid \theta)
  3. 负对数先验正则项，所有“惩罚”的贝叶斯来源。
    −log⁡P(θ)-\log P(\theta)
  4. 常数项来自证据 $P(X)$，与 θ 无关，优化时可忽略。
    const\text{const}

AI 应用场景

信贷风控中的Lasso特征筛选

阶段：特征工程与模型选择

解决的问题：银行信贷风控经常面对几百维用户特征，传统逻辑回归全部纳入会导致过拟合，模型不可解释。用 L1 正则（Lasso）训练，相当于给模型注入了“大部分特征无关、少数特征关键”的拉普拉斯先验，让无关特征的系数精确归零，自动完成特征筛选。

具体案例：某银行风控团队对 302 维特征做 Lasso 逻辑回归，λ 调好后只有 23 个特征非零，模型 AUC 不降反升，风控人员还能直接向监管解释这 23 个变量。这就是 L1 稀疏性在真实业务中的价值。

深度学习中的权重衰减

阶段：模型训练与优化

解决的问题：大模型参数动辄上亿，纯数据驱动训练极易过拟合。权重衰减（weight decay） 等价于 L2 正则，工程上是在每次梯度更新时把权重按比例缩小一点——对应“高斯先验把所有权重往 0 温和地拽”。

具体案例：训练 BERT 系列模型时设置 weight_decay = 0.01，等价于给每个权重施加了一个方差适中的高斯先验，让训练更稳定、泛化更好。AdamW 优化器就是把权重衰减从 Adam 的梯度里拆出来单独做，效果更接近理论上的 L2 正则。

推荐系统的冷启动处理

阶段：推荐算法与贝叶斯推断

解决的问题：新用户只有几次点击，纯数据驱动的参数估计极不可靠。用人口统计信息构造高斯先验做 MAP 估计，相当于“先按同群体平均水平猜，再让个体行为微调”，避免冷启动阶段推荐失控。

具体案例：视频平台对新用户只有 3 次点击记录。用同年龄段用户的平均偏好作为先验 $\theta \sim N(\mu_0, \sigma_p^2)$，对点击数据做 MAP 估计，新用户的初始推荐序列点击率比纯 MLE 方案提升 18%。先验在这里就是防止“三根点击带偏整个模型”的正则化。

Python 演示

python44 行
import numpy as np  def make_data(n=20, noise=0.5, seed=42):    rng = np.random.default_rng(seed)    x = rng.uniform(-3, 3, n)    y = np.sin(x) + noise * rng.standard_normal(n)    return x, y  def design_matrix(x, degree=8):    """多项式特征矩阵: [1, x, x^2, ..., x^degree]"""    return np.vander(x, degree + 1, increasing=True)  def mle_fit(X, y):    """最大似然解: 最小二乘"""    return np.linalg.lstsq(X, y, rcond=None)[0]  def map_fit(X, y, lam=1.0):    """MAP解: 高斯先验等价于L2正则"""    n, d = X.shape    return np.linalg.solve(X.T @ X + lam * np.eye(d), X.T @ y)  def main():    x, y = make_data()    X = design_matrix(x)    theta_mle = mle_fit(X, y)    theta_map = map_fit(X, y, lam=1.0)    xs = np.linspace(-3, 3, 200)    Xs = design_matrix(xs)    true_y = np.sin(xs)    err_mle = np.mean((Xs @ theta_mle - true_y) ** 2)    err_map = np.mean((Xs @ theta_map - true_y) ** 2)    print("MLE 参数范数: %.4f" % np.linalg.norm(theta_mle))    print("MAP 参数范数: %.4f" % np.linalg.norm(theta_map))    print("MLE 对真实曲线误差: %.4f" % err_mle)    print("MAP 对真实曲线误差: %.4f" % err_map)  if __name__ == "__main__":    main()
目的：用 8 阶多项式拟合带噪声的 sin 曲线，对比 MLE（最小二乘）与 MAP（L2 正则）的参数范数和真实泛化误差。
  1. np.vander(x, degree + 1, increasing=True)构造多项式特征矩阵，每列是 x 的逐次幂，让线性模型能拟合非线性曲线。
  2. np.linalg.lstsq(X, y, rcond=None)[0]最小二乘求解，在高斯噪声假设下这就是 MLE。
  3. X.T @ X + lam * np.eye(d)在正规方程中加 λI，这就是高斯先验对应的 L2 正则闭式解。
  4. np.linalg.solve(X.T @ X + lam * np.eye(d), X.T @ y)一步求出 MAP 参数，相当于给最小二乘的解套上了先验的缰绳。
  5. np.linalg.norm(theta_mle)参数向量的长度，没加正则时通常大得吓人，展示过拟合的“参数奔放”。
  6. np.mean((Xs @ theta_mle - true_y) ** 2)在真实曲线上评估误差，说明 MLE 在训练集上拟合漂亮、在真实曲线上反而翻车。

常见误区

误区“L1 能产生稀疏解，所以 L1 永远比 L2 好用，以后所有模型都上 L1 就行了。”

正解选 L1 还是 L2 取决于你对参数的先验假设。高斯先验（认为参数总体偏小但不为零）对应 L2；拉普拉斯先验（认为参数稀疏、少数很大）对应 L1。若真实参数分布在小而密的区域，L2 更稳；若真实参数稀疏，L1 更合适。比喻：教练不会每场比赛都用同一套战术——“每个环节微调”和“只改几个关键点”各有胜负，看对手（数据）而定。

为何常见：L1 的稀疏性直观、好讲、面试爱考，容易被渲染成“高级技巧”，让人忽略它背后的分布假设。

误区“正则化就是往损失函数里加个惩罚项，防止过拟合用的，是纯工程经验，跟概率论没关系。”

正解正则化有严格的贝叶斯解释：它是先验的负对数。L2 正则等价于假设参数服从高斯先验，L1 正则等价于拉普拉斯先验。频率派把它看成“惩罚复杂模型”，贝叶斯派把它看成“注入先验知识”，同一数学式子的两种叙事。

为何常见：多数课程先教“加正则项”再讲“贝叶斯估计”，时间顺序割裂了两者之间的深层联系。

误区“训练过拟合了就使劲调大 λ，反正正则越强模型越稳，λ 越大越好。”

正解λ 过大会把所有参数压向 0，模型变得“什么都不敢变”，直接欠拟合。λ 的选择需要在偏差和方差之间权衡，通常用交叉验证确定。比喻：教练过度信任手册、完全无视录像，就会错过对手的真实打法——手册再好也过期了。

为何常见：初学者发现 λ 增大能缓解过拟合，误以为这个方向是单调的，忽略了“太小危险、太大更危险”的两头悬崖。

误区“MAP 给出参数的答案了，所以 MAP 就是贝叶斯推断。”

正解MAP 只是后验分布的众数（最高点），一个点估计，丢掉了所有不确定性信息。完整的贝叶斯推断需要整个后验分布 $P(\theta \mid X)$，才能算置信区间、预测分布。MAP 是贝叶斯推断的“最大可能值”，属于一种折中方案。

为何常见：MAP 的形式和 MLE 太像（都是 argmax），容易让人忽略它本质上仍是点估计，而非完整的分布推断。

误区“L2 和 L1 一样，λ 足够大时参数会变成 0。”

正解L2 惩罚是平方项 $\theta^2$，在 0 附近的梯度越来越小，参数只会无限接近 0，不会精确等于 0（除非浮点误差）。L1 惩罚是绝对值 $|\theta|$，在 0 处有不可导的尖角，才真正把参数推到 0。视觉上：L2 的圆球约束与等高线相切常在坐标轴之外，L1 的菱形角点更容易正好落在轴上。

为何常见：平时总说“正则化让参数变小”，“小”和“精确为零”被想当然地混为一谈。

面试题

Q1. MAP估计的核心目标是什么？

单选题 · easy

  • A.最大化似然函数
  • B.最大化后验概率← 正确答案
  • C.最小化训练误差
  • D.最大化先验概率

答案：B。MAP 是 Maximum A Posteriori，目标是最大化后验概率 P(θ|X)。A 是 MLE 的目标，D 只考虑了先验而忽略数据，C 是工程上的损失视角而非概率视角。就像教练要综合手册和录像，而不是只听其中一方。

Q2. 高斯先验对应以下哪种正则化？

单选题 · easy

  • A.L1正则化
  • B.L0正则化
  • C.L2正则化← 正确答案
  • D.无需正则化

答案：C。高斯先验取负对数后得到参数的平方和，即 L2 范数，对应 L2 正则（岭回归）。拉普拉斯先验才对应 L1。就像“每个环节小幅微调”的教练信念，数学上就是平方惩罚。

Q3. 拉普拉斯先验对应L1正则，为什么容易产生稀疏解？

单选题 · mid

  • A.先验分布方差太大
  • B.目标在零点不可导← 正确答案
  • C.似然函数完全对称
  • D.梯度下降一定更快

答案：B。L1 惩罚 |θ| 在 0 点有一个不可导的尖角，最优解容易恰好落在尖角上，使参数精确为 0，形成稀疏。A 与稀疏无关，C 是误把似然对称当原因，D 更是不一定。菱形的角点坐在坐标轴上，这正是 L1 稀疏的几何来源。

Q4. 取负对数后，MAP估计等价于下面哪个优化目标？

单选题 · mid

  • A.损失函数加上正则项← 正确答案
  • B.损失函数减去正则项
  • C.仅仅保留损失函数项
  • D.仅仅保留正则化项

答案：A。MAP 的负对数 = 负对数似然（损失项）+ 负对数先验（正则项）。两者是相加关系，缺一不可。这就是“数据拟合 + 先验约束”的组合，如同教练的手册和录像同时进战术室。

Q5. 当λ增大时，L2正则化下的参数会如何变化？

单选题 · mid

  • A.保持完全不变
  • B.数值反而增大
  • C.向零方向收缩← 正确答案
  • D.精确变为零值

答案：C。λ 增大意味着先验信任度增加，参数整体向 0 收缩，但 L2 的平方惩罚不会让参数精确归零（那是 L1 的特性）。所以选 C 而不是 D。手册分量越重，战术方案越贴近默认值。

Q6. 高斯噪声+高斯先验推导出的L2正则系数λ等于什么？

单选题 · hard

  • A.先验方差比噪声方差
  • B.噪声方差比先验方差← 正确答案
  • C.先验噪声方差之差
  • D.先验噪声方差之积

答案：B。λ = σ_n² / σ_p²，即噪声方差除以先验方差。噪声越大（数据越不可信）或先验越窄（手册越笃定），λ 越大。A 正好写反了；C、D 是干扰项。记住：数据越差，越该听手册的。

Q7. 关于正则化与偏差方差的关系，下列说法正确的是？

单选题 · hard

  • A.增大方差减小偏差
  • B.同时减小偏差和方差
  • C.增大偏差减小方差← 正确答案
  • D.对两者全无影响

答案：C。正则化限制了参数的活动范围，让模型“不敢太奔放”，这会引入一点偏差，但大幅降低模型在不同训练集上的方差。总误差 = 噪声 + 偏差² + 方差，正则化就是用少量偏差换大量稳定。

Q8. 关于MAP估计，下列说法正确的有？

多选题 · mid

  • A.融合先验与观测数据← 正确答案
  • B.属于贝叶斯点估计法← 正确答案
  • C.给出参数不确定性区间
  • D.等价于MLE加先验项← 正确答案

答案：ABD。MAP 把先验和数据合成为后验并取峰值，是贝叶斯框架下的点估计，等价于 MLE 目标加先验项。但 C 错误：给出不确定性区间需要完整的后验分布，MAP 只给一个点，丢掉了分布形状的信息。

Q9. 关于L1与L2正则的对比，下列说法正确的有？

多选题 · hard

  • A.L1致稀疏L2致收缩← 正确答案
  • B.L1对应拉普拉斯先验← 正确答案
  • C.L2各方向均匀惩罚← 正确答案
  • D.L1对应高斯先验分布

答案：ABC。L1 的菱形约束让解落在坐标轴上产生稀疏，L2 的圆球约束让参数整体收缩但不归零；L1 对应拉普拉斯先验、L2 对应高斯先验，所以 D 错。L2 惩罚是向量的欧式范数，旋转对称，确实各方向均匀。

Q10. 正则化能带来的好处包括哪些？

多选题 · easy

  • A.有效防止过拟合← 正确答案
  • B.引入先验知识← 正确答案
  • C.使估计更加稳定← 正确答案
  • D.消除数据固有噪声

答案：ABC。正则化限制参数规模、注入先验信息、降低估计方差，因此能防过拟合并让估计更稳。但 D 错误：数据本身的噪声 σ² 是不可约的，任何正则化都无法“消除”噪声，只是不让模型去拟合噪声。