想象你是一位「时间估算师」，总被朋友问同一个问题：「去东门要多久？」普通的线性回归就像一位只会报数字的实在人——不管你今天心情如何、路上堵不堵，它都斩钉截铁地告诉你「15 分钟」。但真正的估算师心里明白：今天下雨可能 18 分钟，早高峰甚至 25 分钟。为什么要憋着一句「我拿不准」不说出来？贝叶斯线性回归干的事，就是让这位实在人学会回答：「大概 14 到 18 分钟，九成把握」。它不再给一个孤零零的点，而是给一条「带不确定性的预测曲线」——数据少时区间宽，数据多了区间逐渐收窄，还能把经验（先验）和新信息（数据）无缝揉在一起。这篇文章就用这个「估时间」的故事，带你从普通线性回归一路走到贝叶斯线性回归，看懂后验、预测区间、在线更新和模型比较。

岗位关联

对 AI 从业者而言，贝叶斯线性回归是理解「不确定性估计」的入门钥匙——无论是小样本冷启动、在线推荐，还是风控决策，能说出「我不确定」的模型远比只会报一个数的模型更可靠。

目录
  1. 可视化演示
  2. 1. 线性回归回顾：只会报数字的实在人
  3. 2. 先验与似然：把经验和消息分开记账
  4. 3. 后验分布推导：高斯乘高斯，还是高斯
  5. 4. 贝叶斯预测：从点估计到「估个范围」
  6. 5. 正则化视角：先验就是那个「别乱动」的手
  7. 6. 在线学习：每一次反馈都在升级经验
  8. 7. 模型比较：让数据来选「哪套经验更靠谱」
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示贝叶斯线性回归的先验后验推导、后验分布不确定性区间、预测带置信带及在线学习序贯更新，交互切换四种模式理解贝叶斯回归核心。

本节配有交互动效（进入视口后自动加载，约 3KB）。

贝叶斯框架：先验×似然=后验 贝叶斯线性回归将权重w视为随机变量，通过先验分布和似然函数推导后验分布，不仅给出参数估计还量化不确定性 p(w|D) ∝ p(D|w) × p(w) 后验分布融合了先验知识和观测数据的综合信息。

1. 线性回归回顾：只会报数字的实在人

你是小区里小有名气的「时间估算师」，朋友问你「去东门有多远」，你总是一口报出「15 分钟」。这个数字干脆、确定，但你心里清楚：晴天 13 分钟，雨天 20 分钟。只可惜，朋友只要一个数，而你给得出一个数——这就是传统线性回归的缩影。它把一堆历史行程压缩成一条直线上，然后豪迈地宣布：x 到东门，y 等于 15。

把镜头拉近：我们收集数据 (x, y)，假设用时 y 与路程 x 近似满足 y ≈ w₀ + w₁x，学习的任务就是找一组让所有样本「误差平方和」最小的 w。这就是最小二乘的目标函数。

可惜，这条直线最大的毛病是「没有表情」：数据只有 5 个点时它照样敢拍板，数据里混入一个异常点时它马上被带偏。真正的估算师心里应该有「拿不准」三个字，但最小二乘永远不会说。所以我们要做的第一件事，就是让这位实在人学会承认「我有经验，也有不确定」。

w^OLS  =  arg⁡min⁡w∑i=1n(yi−w⊤xi)2\displaystyle \widehat{w}_{\text{OLS}} \;=\; \arg\min_{w} \sum_{i=1}^{n} \left( y_i - w^\top x_i \right)^2
这个公式的通俗含义：把每个样本的预测误差平方再求和，找到一组参数使这个总和最小。它像一个裁缝在反复调整版型，让所有顾客的「误差总和」最小。
  1. 残差平方项单个样本的真实值减去模型预测值，平方一下，避免正负误差互相抵消。
    (yi−w⊤xi)2(y_i - w^\top x_i)^2
  2. 对全部样本求和把 n 个样本的平方误差累加，衡量整条直线的「整体偏差程度」。
    ∑i=1n(yi−w⊤xi)2\sum_{i=1}^{n} \left( y_i - w^\top x_i \right)^2
  3. 最小化目标arg min 表示「让括号里的量取最小值的那组参数」，这就是我们要找的 w。
    arg⁡min⁡w∑i=1n(yi−w⊤xi)2\arg\min_{w} \sum_{i=1}^{n} \left( y_i - w^\top x_i \right)^2
  4. 闭式解对 w 求导并令导数为零，可得到解析解，只需矩阵运算即可一步算出。
    w^OLS=(X⊤X)−1X⊤y\widehat{w}_{\text{OLS}} = (X^\top X)^{-1} X^\top y

2. 先验与似然：把经验和消息分开记账

时间估算师嘴上报「15 分钟」，脑子里其实装着一整套历史经验：多数时候 15，偶尔 18，极少 25。这套「先入为主」的认知，就是先验。今天朋友补了一句「下雨了」，这是新数据。一个聪明的估算师会怎么合并二者？不会硬生生平均，而是按「各自有多可靠」来加权——这正是贝叶斯公式做的事。

把视角转到数学上：我们用 w 表示模型参数（斜率、截距），用 D 表示观测数据。贝叶斯公式把「先验」和「似然」捏在一起变成「后验」：

回到估时间的故事：先验就是你脑中的「历史时刻表」，似然就是朋友说的那句「下雨」，后验则是听完消息后你心里的新判断。两条信息各说各话，贝叶斯公式负责当中间人，按可靠性把它们撮合在一起。接下来要看一个好运气：在两个高斯假设下，这个「撮合」有精确的数学答案。

P(w∣D)  =  P(D∣w) P(w)P(D)  ∝  P(D∣w) P(w)\displaystyle P(w \mid D) \;=\; \frac{P(D \mid w)\, P(w)}{P(D)} \;\propto\; P(D \mid w)\, P(w)
左边是「看到数据之后对参数的信念」，右边是「数据怎么说话（似然）」乘以「数据之前已有的信念（先验）」。分母对给定数据是常数，所以我们常常省略它，只写正比关系。
  1. 后验分布这是我们最终想要的答案——综合经验和数据后，参数 w 的完整概率分布。
    P(w∣D)P(w \mid D)
  2. 似然函数给定一组参数 w，观测到当前数据 D 的可能性有多大，数据在这里「发声」。
    P(D∣w)P(D \mid w)
  3. 先验分布在见到数据之前，我们对 w 的原有看法，比如「斜率应该在 2 到 4 之间」。
    P(w)P(w)
  4. 证据（分母）数据 D 在全体模型下的总概率，与 w 无关，是归一化常数。
    P(D)P(D)

3. 后验分布推导：高斯乘高斯，还是高斯

为什么贝叶斯线性回归能写进教科书？因为它遇上了一个「天作之合」：假设误差服从高斯分布、参数先验也服从高斯分布，那么先验乘似然之后得到的后验，仍然是高斯分布。这就是共轭的魔力——乘法门当户对，结果不走样。

具体来说，我们假设每个样本满足 yᵢ = wᵀxᵢ + ε，其中噪声 ε 服从均值为 0、方差 σ² 的高斯分布；再给参数 w 一个均值为 0、方差 τ² 的高斯先验。两者相乘后配方整理，得到的后验是一个新的高斯分布，其均值就是传说中的 MAP 估计：

这一节的关键收获是：后验不仅仅是「一个数字」，而是一整个高斯分布，它既有峰顶（均值），也有胖瘦（方差）。峰的宽窄告诉我们「到底有多确定」——这就为下一节做预测提供了区间。

wMAP  =  (X⊤X+σ2τ2I)−1X⊤y\displaystyle w_{\text{MAP}} \;=\; \left( X^\top X + \frac{\sigma^2}{\tau^2} I \right)^{-1} X^\top y
这个公式像一张「加权合并账单」：XᵀX 是数据带来的信息，σ²/τ² I 是先验带来的约束。把两项加在一起求逆，就能算出折中后的最优斜率与截距。
  1. 数据信息矩阵XᵀX 汇总了所有样本特征的二阶统计量，数据越「丰富」，这一项影响力越大。
    X⊤XX^\top X
  2. 先验惩罚项σ²/τ² 是噪声方差与先验方差的比值，先验越紧（τ² 小），惩罚越重。
    σ2τ2I\frac{\sigma^2}{\tau^2} I
  3. 矩阵求逆对「数据项 + 先验项」整体求逆，得到后验协方差矩阵。
    (X⊤X+σ2τ2I)−1\left( X^\top X + \frac{\sigma^2}{\tau^2} I \right)^{-1}
  4. 后验均值左乘 Xᵀy，得到后验均值向量——它就是后验分布这座山的「峰顶」。
    (X⊤X+σ2τ2I)−1X⊤y\left( X^\top X + \frac{\sigma^2}{\tau^2} I \right)^{-1} X^\top y

4. 贝叶斯预测：从点估计到「估个范围」

现在，朋友又问「去东门要多久」。这一次，估算师不再咬死「15 分钟」，而是说「大概 14 到 18 分钟，九成把握」。这就是贝叶斯预测——把对参数的不确定性「积分掉」，得到对新观测 y* 的完整概率分布。

数学上要对参数 w 的后验做积分，相当于把无数条候选直线按「各自的可信度」加权平均：

回想演示动画里的紫色带子：数据点稀疏时，带子胖得像围巾；数据点密密麻麻后，带子收窄成一条细线。这条带子就是「预计 14 到 18 分钟」背后的数学。对 AI 从业者来说，这种带子比单个数字值钱得多——它能直接回答「这个预测我该信几分」。

p(y∗∣x∗,D)  =  N ⁣(x∗⊤wN,    σ2+x∗⊤ΣNx∗)\displaystyle p(y^* \mid x^*, \mathcal{D}) \;=\; \mathcal{N}\!\left( x^{*\top} w_N, \;\; \sigma^2 + x^{*\top} \Sigma_N x^* \right)
预测不是一条线，而是一个高斯分布：中心是 x*ᵀw_N（最可能的用时），宽度由 σ²（数据本身的噪声）和 x*ᵀΣ_Nx*（参数的不确定性）共同决定。
  1. 后验预测积分把参数 w 的所有可能值都考虑进来，按后验概率加权平均，得到 y* 的分布。
    p(y∗∣x∗,D)=∫p(y∗∣x∗,w) p(w∣D) dwp(y^* \mid x^*, \mathcal{D}) = \int p(y^* \mid x^*, w)\, p(w \mid \mathcal{D}) \, dw
  2. 预测均值后验均值 w_N 与特征 x* 做内积，相当于所有候选直线的加权平均预测。
    x∗⊤wNx^{*\top} w_N
  3. 观测噪声项σ² 永远存在，即使参数完全确定，数据本身的随机噪声也会让下次观测有波动。
    σ2\sigma^2
  4. 参数不确定项x*ᵀ Σ_N x* 反映「参数还没被数据喂饱」的程度，样本越多这一项越小。
    x∗⊤ΣNx∗x^{*\top} \Sigma_N x^*

5. 正则化视角：先验就是那个「别乱动」的手

估算师经验丰富，所以听到「今天下雨」时只把估计从 15 调高到 17，而不会因为朋友一句「路上有霓虹灯很漂亮」就改成 40 分钟。先验在这里扮演的角色，就是一只按住参数、不让它乱动的手——这正是正则化。

把 MAP 估计的目标函数写出来，你会看到一个熟悉的面孔：原来的平方误差项后面，多出了一项参数的 L2 范数惩罚：

这个「等价关系」是贝叶斯方法送给机器学习的一份大礼：很多你在工程里常用的正则化技巧，在贝叶斯视角下不过是为参数选了一个先验分布。理解这一点，你就能根据业务经验主动设计先验，而不是盲目地调 λ。

w^MAP  =  arg⁡min⁡w[∑i=1n(yi−w⊤xi)2+σ2τ2∥w∥22]\displaystyle \widehat{w}_{\text{MAP}} \;=\; \arg\min_{w} \left[ \sum_{i=1}^{n} \left( y_i - w^\top x_i \right)^2 + \frac{\sigma^2}{\tau^2} \| w \|_2^2 \right]
高斯先验等于在损失函数里加一个「参数别太胖」的惩罚项。先验方差 τ² 越小，惩罚系数 σ²/τ² 越大，参数就越被拽向原点——这就是贝叶斯视角下的岭回归。
  1. 数据拟合项和最小二乘一模一样，要求模型能解释数据。
    ∑i=1n(yi−w⊤xi)2\sum_{i=1}^{n} \left( y_i - w^\top x_i \right)^2
  2. 先验惩罚项对参数的平方和进行惩罚，防止某个特征被赋予过分夸张的权重。
    σ2τ2∥w∥22\frac{\sigma^2}{\tau^2} \| w \|_2^2
  3. 正则强度σ²/τ² 越大，先验约束越强，估计越保守；数据足够多时，数据项会压过惩罚项。
    λ=σ2τ2\lambda = \frac{\sigma^2}{\tau^2}

6. 在线学习：每一次反馈都在升级经验

时间估算师不是一劳永逸的。朋友到了目的地，回头告诉你「实际上花了 19 分钟」。你嘴上说「那还行」，脑子里已经把这条新记录写进经验库——下次再估算，你会更准。这就是在线学习：数据不是一次性倒进模型，而是一条一条流进来，模型边用边学。

贝叶斯方法天生适合在线学习，因为它有一个漂亮的递归性质：把这一轮的后验直接当作下一轮的先验。公式长这样：

这一特性让贝叶斯线性回归成为「小样本+流式数据」场景的利器：冷启动时先验兜底，不会因为三个样本就胡言乱语；数据慢慢积累，模型稳稳进化。对推荐系统、广告点击率这类需要持续更新的场景，这种「边用边学」简直是为它们量身定做的。

p(w∣D1:t)  ∝  p(yt∣xt,w)⋅p(w∣D1:t−1)\displaystyle p(w \mid D_{1:t}) \;\propto\; p(y_t \mid x_t, w) \cdot p(w \mid D_{1:t-1})
每一轮都做同一件事：拿旧后验当新先验，乘上新样本的似然，归一化后得到更新版的后验。就像估算师每听完一次真实到达时间，就更新一次脑内的「时刻表」。
  1. 新样本似然最新的观测 (x_t, y_t) 对参数 w 投出「赞成或反对」的一票。
    p(yt∣xt,w)p(y_t \mid x_t, w)
  2. 旧后验当先验之前所有数据累积起来的信念，作为这一轮的起点。
    p(w∣D1:t−1)p(w \mid D_{1:t-1})
  3. 乘积归一化两票相乘后归一化，得到反映「旧经验 + 新消息」的更新后验。
    p(w∣D1:t)∝p(yt∣xt,w) p(w∣D1:t−1)p(w \mid D_{1:t}) \propto p(y_t \mid x_t, w)\, p(w \mid D_{1:t-1})

7. 模型比较：让数据来选「哪套经验更靠谱」

估算师口袋里其实有好几套「估时间方案」：方案 A 永远报 15 分钟；方案 B 只看天气；方案 C 综合考虑天气、时段和路线。哪个更好？贝叶斯提供了标尺——边际似然，也叫模型证据。它先把参数的不确定性积分掉，再问「这套模型本身解释数据的本事有多大」：

边际似然有个迷人的副作用——自动奥卡姆剃刀。过于复杂的模型参数空间巨大，先验被摊得很薄，积分出来证据反而不高；过于简单的模型又解释不了数据。于是贝叶斯自动偏爱「恰好够用」的模型。两个模型之间直接比较时，用贝叶斯因子 P(D|m₁)/P(D|m₂) 就能定量判断谁更胜一筹。回到故事里，估算师的方案 C 若把「路边奶茶店排队时长」也算进去，多半会因为过度复杂而在证据上输给方案 B——数据会诚实地告诉你：别想太多。

p(D∣m)  =  ∫p(D∣w,m) p(w∣m) dw\displaystyle p(D \mid m) \;=\; \int p(D \mid w, m)\, p(w \mid m)\, dw
把模型 m 下所有可能的参数 w 都考虑一遍，统计「这些参数平均而言有多擅长解释数据」。这个量越大，说明模型越「恰当」。
  1. 特定参数下的似然给定模型 m 和一组参数 w，算出数据出现的概率。
    p(D∣w,m)p(D \mid w, m)
  2. 模型下的先验模型 m 内对参数 w 的约束，体现了这套方案的「默认偏好」。
    p(w∣m)p(w \mid m)
  3. 对参数积分把所有参数可能性累积起来，等于「模型对数据的平均解释力」。
    ∫p(D∣w,m) p(w∣m) dw\int p(D \mid w, m)\, p(w \mid m)\, dw

AI 应用场景

冷启动推荐：小样本下的不确定打分

阶段：模型训练与评估

解决的问题：新用户没有任何历史行为时，传统协同过滤只能给默认分，缺乏可信度。贝叶斯线性回归用「全局平均分」做先验，用少量行为做更新，不仅能给出个性化预估分，还能标注「这个分数有多可信」——先验相当于「对所有人的普遍估计」，数据则是「该用户的少数反馈」。

具体案例：短视频平台新注册用户只看了 3 个视频，系统用贝叶斯回归预测他对某类内容的喜爱度，预测区间宽就先推热门稳妥内容，等反馈多了区间收窄再慢慢个性化，减少因激进推荐造成的流失。

A/B 测试效果评估：不要只报提升几个点

阶段：实验分析与决策

解决的问题：传统 A/B 测试只输出「转化率提升 0.8%」，却不说 0.8% 是稳是虚。用贝叶斯线性回归把实验组与对照组差异作为参数，后验能直接给出「提升幅度 0.3% ~ 1.3% 的概率区间」，决策者可以依据区间下限做保守决策。

具体案例：电商平台上线新版结算页，仅一周数据时普通 t 检验置信区间极宽，贝叶斯回归结合历史优惠券活动数据作为先验，提前 3 天给出「提升下限为正」的结论，帮助团队更快放量。

在线广告竞价：实时出价的不确定性控制

阶段：模型在线推理与更新

解决的问题：广告出价模型面对新广告主时数据稀少，贸然沿用老模型容易过拟合。贝叶斯线性回归把旧模型的后验当作新场景的先验，每次点击实时更新，并给出每个曝光预测的置信区间，区间过宽时主动降低出价，控制风险。

具体案例：DSP 平台接入一个新品类广告主，前 1 小时只有 50 次曝光，贝叶斯模型给出「点击率可能在 1.2%~4.8% 之间」的宽区间，系统采用保守出价策略；积累 500 次曝光后区间收窄到 2.6%~3.4%，开始自动提高出价争取优质流量。

Python 演示

python42 行
import numpy as np class BayesianLinearRegressor:    """高斯先验 + 高斯似然的贝叶斯线性回归"""     def __init__(self, tau2=1.0, sigma2=0.5):        self.tau2 = tau2      # 参数先验方差        self.sigma2 = sigma2  # 观测噪声方差        self.w_mean = None    # 后验均值        self.w_cov = None     # 后验协方差     def fit(self, X, y):        X = np.column_stack([np.ones(len(X)), X])        n, d = X.shape        cov = np.linalg.inv(X.T @ X / self.sigma2 + np.eye(d) / self.tau2)        mean = cov @ X.T @ y / self.sigma2        self.w_mean, self.w_cov = mean, cov     def predict(self, X_new):        X = np.column_stack([np.ones(len(X_new)), X_new])        mu = X @ self.w_mean        var = self.sigma2 + np.array([x @ self.w_cov @ x for x in X])        return mu, var  if __name__ == "__main__":    rng = np.random.default_rng(42)    x = rng.uniform(0, 2, 20)    y = 3 * x + 2 + rng.normal(0, 0.6, 20)     model = BayesianLinearRegressor()    model.fit(x, y)    xs = np.linspace(0, 2, 50)    mu, var = model.predict(xs)    lower = mu - 1.96 * np.sqrt(var)    upper = mu + 1.96 * np.sqrt(var)     print("后验均值:", np.round(model.w_mean, 3))    print("后验协方差:", np.round(model.w_cov, 3))    print("前3个预测点(下界, 上界):")    for i in range(3):        print(f"x={xs[i]:.2f}  区间=[{lower[i]:.2f}, {upper[i]:.2f}]")
目的：演示贝叶斯线性回归的完整流程——给定高斯先验和数据，用解析解算出后验均值与协方差，进而对新输入给出带置信区间的预测。
  1. cov = np.linalg.inv(X.T @ X / self.sigma2 + np.eye(d) / self.tau2)计算后验协方差矩阵，对应公式中的 (XᵀX/σ² + I/τ²)⁻¹。
  2. mean = cov @ X.T @ y / self.sigma2计算后验均值向量，对应 w_MAP = (XᵀX + αI)⁻¹ Xᵀy。
  3. var = self.sigma2 + np.array([x @ self.w_cov @ x for x in X])预测方差 = 观测噪声 σ² + 参数不确定性，正是预测分布公式的实现。
  4. np.column_stack([np.ones(len(X)), X])构造设计矩阵，第一列全 1 对应截距项。
  5. lower = mu - 1.96 * np.sqrt(var)用 ±1.96 倍标准差构造 95% 预测区间。

常见误区

误区我以为贝叶斯方法只是在最小二乘的损失函数里加了一个 L2 惩罚项，本质和岭回归没区别。

正解正则化只是贝叶斯方法的「副产品」。从 MAP 估计看它确实等价于岭回归，但贝叶斯真正给出的是参数的完整后验分布，能输出预测区间、能在线更新、能比较模型——这些是普通岭回归做不到的。

为何常见：初学者最先接触的就是 MAP 估计，它在形式上与岭回归太像，导致大家误以为贝叶斯只有这点本事。

误区既然数据量一大，后验均值就趋近最小二乘解，那我直接跑最小二乘不就行了？

正解均值趋同不等于方法没用。有限样本下先验仍在约束估计；更重要的是，贝叶斯自始至终提供不确定性区间，以及「数据还够不够」的信号——这是点估计永远给不了的。

为何常见：大家只盯着后验均值这一个量，忽略了后验方差和预测分布的价值。

误区贝叶斯给出的「95% 预测区间」和教科书上的置信区间是一回事，反正看起来都是两条曲线夹一条带。

正解两者含义不同。贝叶斯区间说的是「在我相信的模型和先验下，新观测有 95% 概率落在这个范围」；频率置信区间则指「重复采样构造区间时，约 95% 的区间会包含真实参数」。数值可能接近，哲学完全不同。

为何常见：因为画出来的图几乎一样，很多教程也混着用，学习者很容易把两种区间当成同一个东西。

误区我是做工程的，说不出「先验方差该取多少」，所以贝叶斯方法不适合我。

正解没有领域先验时可以选无信息先验，比如方差很大的高斯分布。此时后验几乎完全由数据驱动，结果接近最小二乘，却额外保留了不确定性信息。

为何常见：「先验」这个名字听起来像是必须精确给定的主观知识，让人误以为没有专家经验就无法启动。

面试题

Q1. 贝叶斯线性回归与普通最小二乘回归最本质的区别是什么？

单选题 · easy

  • A.贝叶斯方法训练时间一定更短
  • B.贝叶斯方法输出参数概率分布← 正确答案
  • C.贝叶斯方法不需要任何训练数据
  • D.贝叶斯方法只能用于二维数据

答案：B。最本质的区别在于普通最小二乘只给出一个最优参数点，而贝叶斯线性回归给出了参数完整的后验分布，从而可以衍生出预测区间、在线更新等能力。训练速度、数据需求都谈不上「更短/不需要」，也不是维度限制。

Q2. 在贝叶斯公式中，「先验」指的是什么？

单选题 · easy

  • A.训练数据的排列顺序
  • B.模型预测结果的准确率
  • C.观测数据携带的噪声大小
  • D.看到数据前对参数的信念← 正确答案

答案：D。先验是「看数据之前」对参数的已有信念，来自经验或领域知识。训练顺序、预测准确率、噪声大小都与先验无关。贝叶斯公式的本质就是用数据（似然）去修正先验，得到后验。

Q3. 高斯先验与高斯似然相乘，得到的后验是什么分布？

单选题 · mid

  • A.伯努利分布
  • B.均匀分布
  • C.泊松分布
  • D.高斯分布← 正确答案

答案：D。高斯分布是自身的共轭先验——高斯先验乘高斯似然，归一化后仍然是高斯分布。这保证了后验有解析解，是贝叶斯线性回归「能手算」的关键。伯努利、均匀、泊松都不具有这种性质。

Q4. 贝叶斯线性回归的预测方差由哪两部分构成？

单选题 · mid

  • A.观测噪声方差与参数不确定性← 正确答案
  • B.先验均值与后验均值之差
  • C.训练集大小与学习率高低
  • D.似然函数的形状与正则系数

答案：A。预测方差 = σ²（数据本身噪声）+ x*ᵀΣ_Nx*（参数估计的不确定性）。即使参数完全确定，噪声项仍存在；样本增多时参数项变小。先验均值、学习率都不构成预测方差的组成部分。

Q5. 高斯先验下，MAP 估计在损失函数上等价于哪种正则化？

单选题 · mid

  • A.L1 稀疏正则化
  • B.L2 平方范数正则化← 正确答案
  • C.弹性网络正则化
  • D.完全不使用正则化

答案：B。对高斯先验取负对数后，约束项变成 ‖w‖² 的平方，这正是 L2 正则（岭回归）。L1 对应拉普拉斯先验，弹性网络是 L1 与 L2 的组合。高斯先验天然对应 L2。

Q6. 贝叶斯在线学习的核心思想是什么？

单选题 · mid

  • A.每次只保留最新数据重新训练
  • B.将旧后验作为新先验乘上新似然← 正确答案
  • C.对历史数据做随机下采样训练
  • D.每批数据到达后清空全部模型

答案：B。在线贝叶斯更新把「旧后验」看成「新一轮的先验」，再乘上最新样本的似然并归一化，即得到新后验。A、D 丢弃历史信息，C 仍是批量思路，都不符合贝叶斯递归更新的优雅之处。

Q7. 当训练数据量趋于无穷大时，后验均值通常趋向于什么？

单选题 · hard

  • A.先验分布的均值
  • B.零向量
  • C.普通最小二乘估计← 正确答案
  • D.随机噪声的最大值

答案：C。数据无穷多时，似然项在贝叶斯公式中占据绝对主导，先验的影响被稀释殆尽，后验均值会收敛到与最大似然估计一致的结果，即普通最小二乘解。A 是样本极少时的情形，B、D 均无依据。

Q8. 关于边际似然（模型证据），下列说法正确的有哪些？

多选题 · hard

  • A.是对参数积分得到的边际概率← 正确答案
  • B.积分过程会自动惩罚复杂模型← 正确答案
  • C.它的计算完全不依赖先验假设
  • D.模型越复杂边际似然必然越大

答案：AB。边际似然 p(D|m)=∫p(D|w,m)p(w|m)dw 对参数积分，复杂度高的模型先验被摊薄，证据反而可能降低——这是贝叶斯自动奥卡姆剃刀的体现。C 错，边际似然依赖先验 p(w|m)；D 错，复杂不等于证据更大。

Q9. 贝叶斯线性回归对比普通线性回归的优势有哪些？

多选题 · mid

  • A.能给出预测的不确定性区间← 正确答案
  • B.天然支持流式数据在线更新← 正确答案
  • C.小样本时结果更稳定可靠← 正确答案
  • D.完全不需要假设噪声分布

答案：ABC。贝叶斯方法输出分布所以能给出区间（A），后验递归充当先验支持在线学习（B），小样本时先验提供约束避免过拟合（C）。D 错误，高斯似然假设是贝叶斯线性回归能解析计算的前提。

Q10. 关于贝叶斯因子与模型比较，下列说法正确的有哪些？

多选题 · extreme

  • A.贝叶斯因子是两个模型边际似然的比值← 正确答案
  • B.贝叶斯因子大于 1 支持分子上的模型← 正确答案
  • C.边际似然对参数先验的选择不敏感
  • D.复杂模型在比较中一定处于劣势

答案：AB。贝叶斯因子 BF = p(D|m₁)/p(D|m₂)，大于 1 意味着数据更支持 m₁（A、B 正确）。边际似然显著依赖先验，换不同先验结论可能改变（C 错）。复杂模型常因先验摊薄而证据低，但若真实关系确实复杂，复杂模型也能获胜（D 错）。