侦探社最近来了位新搭档：AI 助手扫一眼监控画面，就能圈出可疑动作——这是它的“深度学习直觉”；老侦探则从不下武断结论，他会把每条线索写成概率分数，再按贝叶斯手册逐条修正怀疑——这是“概率编程”的严谨。过去两人各干各的：AI 助手反应快却说不清自信程度，老侦探逻辑严密却对高维图像、语音等复杂模式一筹莫展。直到有一天，助手把直觉特征递给老侦探做概率推演，老侦探再把后验信息反馈给助手继续寻找模式，合体后的“概率深度学习”既快又准，还会诚实告诉你“这个结论有 85% 的把握”。这篇文章，就是带你走进这场融合创新。

岗位关联

学习概率编程与深度学习的融合，能让你在 AI 项目中同时拿到准确预测与可信不确定性，成为既能训模型、又能解释模型的稀缺人才。

目录
  1. 可视化演示
  2. 概念融合：直觉识别遇上严谨推理
  3. 框架总览：Pyro 与 TFP 两套工具箱
  4. 变分推断：用“简化档案”逼近真相
  5. 概率层设计：网络里长出“置信区间”
  6. 不确定性感知：分清“雾天”与“盲区”
  7. 时序预测：给未来画一个“可能圈”
  8. 模型选择：给推理来一把“奥卡姆剃刀”
  9. 实践落地：从纸面到侦探社日常
  10. AI 应用场景
  11. Python 演示
  12. 常见误区
  13. 面试题

可视化演示

展示深度学习与概率推理融合范式、概率层作为技术桥梁的双向翻译机制、摊还推断网络设计。切换模式理解不确定性感知深度学习核心技术。

本节配有交互动效（进入视口后自动加载，约 3KB）。

概率编程与深度学习融合范式 深度学习擅长特征表示但无法量化不确定性，概率编程提供严谨推理但表达能力有限 融合后既保留DL的表达能力又获得概率推理的不确定性量化，适用安全关键场景 DL + PP = Uncertainty-Aware Deep Learning 融合创新是不确定性感知AI的关键

概念融合：直觉识别遇上严谨推理

侦探社最近来了位 AI 助手，它看一眼监控画面就能圈出可疑动作，这是深度学习的直觉；老侦探则从不轻易下结论，他会把每条线索用概率写成怀疑分数，这是概率编程的严谨。单独看，前者像神枪手但不看风向，后者像账房先生但缺乏对复杂现场的直接感知。二者真正坐下来合作，才构成一场完整的破案系统。

深度学习本质上是一个“函数拟合大师”，给它海量图像、语音或文本，它能自动找到复杂模式。但它默认输出一个“最可能答案”，很少回答“有多把握”。概率编程则恰恰相反，它要求你把所有变量关系写成概率模型，然后用贝叶斯推理更新认知，却不容易处理像素级的高维模式。把两者结合，就是让神经网络作为感知前端提取特征，让概率模型作为推理后端计算可信度。

贝叶斯公式是这场合作的骨干，它描述了拿到数据后如何修正对模型参数的看法。设模型参数为 \(\theta\)，观测数据为 \(D\)，那么：

有了这个公式，AI 助手不再只给一个武断结论，而是给出参数的完整概率分布；老侦探也能借用深度特征处理真实世界的复杂线索。这便是融合创新的第一块基石：直觉负责发现模式，概率负责描述信任。

p(θ∣D)=p(D∣θ) p(θ)p(D)\displaystyle p(\theta \mid D) = \frac{p(D \mid \theta)\, p(\theta)}{p(D)}
这个公式说的是：看到线索后，对嫌疑人的怀疑程度 = 假设成立时线索出现的可能性 × 原有怀疑程度 ÷ 所有假设下看到线索的总可能性。
  1. 模型参数 \(\theta\)代表我们要猜测的“真相”，比如嫌疑人的作案手法或神经网络的权重。
    θ\theta
  2. 先验 \(p(\theta)\)观察数据之前已有的认知，相当于嫌疑人的前科档案。
    p(θ)p(\theta)
  3. 似然 \(p(D \mid \theta)\)如果 \(\theta\) 是真的，当前线索出现的概率有多高。
    p(D∣θ)p(D \mid \theta)
  4. 证据 \(p(D)\)在所有可能的 \(\theta\) 下看到当前线索的总概率，相当于把所有假设的预测能力加起来。
    p(D)=∫p(D∣θ) p(θ) dθp(D) = \int p(D \mid \theta)\, p(\theta)\, d\theta

框架总览：Pyro 与 TFP 两套工具箱

老侦探的工具箱里，有两套新版推理手册：Pyro 和 TensorFlow Probability。它们就像两套方便好用的“概率编程语言”，你不用亲手推导每个后验，只要声明变量关系，框架会自动完成推理。这好比侦探不用把每条破案逻辑都从亚里士多德三段论开始写，而是直接调用标准化的推理表单。

Pyro 基于 PyTorch 构建，轻量又灵活，你可以在神经网络的 forward 里直接写概率层；TFP 则长在 TensorFlow 生态里，能把概率分布变成张量运算，和 Keras 模型无缝拼接。二者都支持变分推断，也都能自动求导。选哪套，往往取决于你原本的深度学习框架是什么。

在概率编程中，我们要描述数据从哪来。常见写法是先给权重和偏置先验，再假设每个观测服从某个分布。整份“作案故事”的联合概率可以分解成一个个小段。假设权重为 \(w\)、偏置为 \(b\)，第 \(i\) 条观测为 \(y_i\)：

有了这个联合概率，框架就可以把整个模型当成一张有向图，自动算出后验或近似后验。工具箱的意义是让侦探少翻公式书，多关注案情本身——这正是 Pyro 和 TFP 的价值所在。

p(Y,w,b)=p(w) p(b)∏i=1np(yi∣wxi+b,σ)\displaystyle p(Y, w, b) = p(w)\, p(b) \prod_{i=1}^{n} p(y_i \mid w x_i + b, \sigma)
联合概率的意思是：先有对权重和偏置的初始怀疑，再假设每条观测都是在“线性预测结果加上噪声”之后产生的。
  1. 权重 \(w\)决定每条线索对最终判断的影响有多大。
    ww
  2. 偏置 \(b\)一个与线索无关的基础怀疑分，相当于数据拟合中的截距。
    bb
  3. 观测 \(y_i\)第 \(i\) 条线索的观测值，比如某个时刻的股价或图像标签。
    yiy_i
  4. 连乘符号 \(\prod\)把每条独立线索出现的概率乘起来，表示它们是并列出现的证据。
    ∏i=1n\prod_{i=1}^{n}
  5. 噪声 \(\sigma\)观测中无法解释的随机成分，相当于目击者记忆的模糊程度。
    σ\sigma

变分推断：用“简化档案”逼近真相

真实后验往往是一团乱麻，就像要把全城嫌疑人的作案时间、动机、手法全部精确画成一张联合分布，几乎不可能。于是老侦探想出一个办法：用一个“简化档案” \(q(\theta)\) 去代替真实的嫌疑分布。档案虽然简单，但抓住了最重要的嫌疑倾向。

变分推断就是在一群设定的分布中，选一个最接近真实后验的 \(q(\theta)\)。衡量“接近”用 KL 散度，但直接最小化 KL 仍然难算；数学家发现，最大化一个叫“证据下界” ELBO 的目标，能达到同样的效果。ELBO 由两部分组成：一部分希望模型能解释数据，另一部分不希望简化档案离先验太远。公式如下：

随机变分推断 SVI 则用随机梯度下降来最大化这个目标，使得大型概率深度模型可以训练。它就像拿着多轮采样报告逐步修订简化档案，越改越接近真相。

ELBO=Eq(θ)[log⁡p(D∣θ)]−KL(q(θ) ∥ p(θ))\displaystyle \mathrm{ELBO} = \mathbb{E}_{q(\theta)}\left[\log p(D \mid \theta)\right] - \mathrm{KL}\left(q(\theta) \,\|\, p(\theta)\right)
最大化 ELBO，就是在“让档案能解释线索”和“让档案不过度偏离常识”之间找到平衡。
  1. 期望项 \(\mathbb{E}_{q}[\log p(D\mid\theta)]\)用简化档案抽样，看平均能多好地解释数据，相当于试演多套破案方案的平均命中率。
    Eq(θ)[log⁡p(D∣θ)]\mathbb{E}_{q(\theta)}\left[\log p(D \mid \theta)\right]
  2. KL 散度衡量简化档案 \(q\) 与原始先验 \(p(\theta)\) 的距离，档案越离谱，惩罚越大。
    KL(q(θ) ∥ p(θ))\mathrm{KL}\left(q(\theta) \,\|\, p(\theta)\right)
  3. 最大化 ELBO由于 \(\log p(D) = \mathrm{ELBO} + \mathrm{KL}(q\|p)\)，最大化 ELBO 等价于最小化 \(q\) 与真实后验的 KL 距离。
    log⁡p(D)≥ELBO\log p(D) \ge \mathrm{ELBO}

概率层设计：网络里长出“置信区间”

以前的 AI 助手会直接说“ta 就是凶手”，概率层时代它改口了：“我给出一个判断分布，均值在张三，但标准差很大。”这一改动看似简单，却让不确定性在整个网络里流动。普通神经网络输出一个向量，概率层输出的却是分布参数。

概率层把网络输出从单个特征向量变成分布参数：均值 \(\mu\) 和标准差 \(\sigma\)。每次前向传播，我们从中采一个参数样本参与后续计算。但采样操作通常不可导，训练会卡住，于是重参数化技巧出场。重参数化把随机采样拆成确定性函数加标准噪声：把随机性从参数身上移到一个小噪声源上，梯度就能顺利回传。

于是网络既能保留直觉模式识别能力，又学会了给每个环节标注信心。这就是概率层设计的关键，也是端到端训练的引擎。

z=μ(x;θ)+σ(x;θ)⊙ε,ε∼N(0,I)\displaystyle z = \mu(x; \theta) + \sigma(x; \theta) \odot \varepsilon, \quad \varepsilon \sim \mathcal{N}(0, I)
这相当于说：先给出最有把握的猜测 \(\mu\)，再加上一个与不确定程度成正比的小扰动。
  1. 均值 \(\mu(x;\theta)\)网络学出来的最佳猜测，相当于侦探最认可的答案。
    μ(x;θ)\mu(x; \theta)
  2. 标准差 \(\sigma(x;\theta)\)网络学出来的不确定程度，扰动越大，说明越没把握。
    σ(x;θ)\sigma(x; \theta)
  3. 随机噪声 \(\varepsilon\)服从标准正态分布的外部随机源，重参数化把随机性集中到这里。
    ε∼N(0,I)\varepsilon \sim \mathcal{N}(0, I)
  4. 逐元素相乘 \(\odot\)把噪声按每个维度的不确定度缩放，相当于给不同维度分配不同大小的“抖动幅度”。
    σ(x;θ)⊙ε\sigma(x;\theta) \odot \varepsilon

不确定性感知：分清“雾天”与“盲区”

侦探在雾天看线索会犹豫，这是“偶然不确定性”；遇到从没见过的作案手法而困惑，则是“认知不确定性”。如果模型只有总方差，分不清是雾还是盲区，就不知道该升级传感器还是扩充卷宗。概率深度学习的一个重要价值，就是把这两种不确定性拆开。

偶然不确定性源于数据自身的噪声，比如测量误差、标注不一致，哪怕再多数据也无法彻底消除，但模型可以学会对其加权。认知不确定性源于模型对参数知道得不够，随着数据增加会显著下降。在概率深度模型中，我们可以通过多次从后验采样，把预测方差分解成两部分：

这个分解就像一个双通道仪表盘：认知不确定性太高，快去采集数据；偶然不确定性太高，要改善数据质量或调整损失权重。可靠性由此提升。

Var[y∣x]=Eq[Var[y∣f(x)]]+Varq[E[y∣f(x)]]\displaystyle \mathrm{Var}[y \mid x] = \mathbb{E}_{q}\left[\mathrm{Var}[y \mid f(x)]\right] + \mathrm{Var}_{q}\left[\mathbb{E}[y \mid f(x)]\right]
预测的总不确定度 = 数据本身的噪声贡献 + 模型参数知识不足的贡献。
  1. 总方差 \(\mathrm{Var}[y \mid x]\)模型对最终预测的整体不确定度。
    Var[y∣x]\mathrm{Var}[y \mid x]
  2. 第一项偶然不确定性对多种参数采样求平均后，预测内部仍有的随机波动，来自数据噪声。
    Eq[Var[y∣f(x)]]\mathbb{E}_{q}\left[\mathrm{Var}[y \mid f(x)]\right]
  3. 第二项认知不确定性不同参数采样使预测均值来回变化，反映模型知识盲区。
    Varq[E[y∣f(x)]]\mathrm{Var}_{q}\left[\mathbb{E}[y \mid f(x)]\right]

时序预测：给未来画一个“可能圈”

追捕嫌疑人时，老侦探不光预测下一步出现在哪，还会画一个“可能的圈”，圈越大表示越没把握。概率时间序列预测正是这种圈，而不是一条孤零零的曲线。股票、天气、车流都适用：模型给出未来每一步的分布，附带置信区间。

时序模型用循环网络或状态空间模型跟踪隐状态演化，每一步输出预测分布的参数。和普通点预测不同，它把上一步分布作为下一步输入，让不确定性自然向下传递。真正贝叶斯的预测还要把所有可能的参数都考虑进来，而不仅仅用一组最优参数。公式如下：

因此，预测时间越长，圈越大，这是诚实而非缺陷。风控系统可以利用这个圈决定何时该减仓或观望。

p(yt+1∣y1:t)=∫p(yt+1∣y1:t,θ)  p(θ∣D)  dθ\displaystyle p(y_{t+1} \mid y_{1:t}) = \int p(y_{t+1} \mid y_{1:t}, \theta)\; p(\theta \mid D)\; d\theta
预测明天，不是只用一个最佳模型，而是把所有可能模型的预测都按后验概率加权平均。
  1. 历史观测 \(y_{1t}\)：到目前为止的线索序列，比如前 30 天的股价。
    y1:ty_{1:t}
  2. 后验参数 \(p(\theta \mid D)\)所有历史数据训练出的参数可信度分布。
    p(θ∣D)p(\theta \mid D)
  3. 预测分布 \(p(y_{t+1} \mid y_{1t}, \theta)\)：给定一组参数后，下一步可能出现在哪。
    p(yt+1∣y1:t,θ)p(y_{t+1} \mid y_{1:t}, \theta)
  4. 积分 \(\int\)把所有参数下的预测分布汇总成最终分布。
    ∫⋅  dθ\int \cdot \; d\theta

模型选择：给推理来一把“奥卡姆剃刀”

如果有两条破案理论：一条用五个条件解释所有线索，另一条用五十个细节勉强自圆其说，老侦探会倾向简洁理论，除非复杂理论有压倒性证据。这就是模型选择。机器学习里，模型复杂度越高越容易过拟合，所以不能只看训练损失。

贝叶斯模型选择用贝叶斯因子比较两个模型的后验机会，但边际似然常常难算，信息准则成了实用替代品，最常用的是 BIC。BIC 在拟合优度之外加上复杂度惩罚，公式很简洁：

BIC 就像侦探的奥卡姆剃刀：拟合好但太啰嗦的模型要扣分。概率编程可以自动在多个模型间搜索，选出既解释力强又不堆砌参数的方案。

BIC≈−2ln⁡Lmax⁡+kln⁡n\displaystyle \mathrm{BIC} \approx -2 \ln L_{\max} + k \ln n
BIC 越小，模型越值得优先考虑。它既夸赞好拟合，又惩罚堆砌参数。
  1. 最大对数似然 \(L_{\max}\)模型在训练数据上能达到的最好解释水平。
    −2ln⁡Lmax⁡-2 \ln L_{\max}
  2. 参数个数 \(k\)模型有多少自由参数，参数越多，模型越复杂。
    kk
  3. 样本量 \(n\)手里的线索总数，线索越多，对复杂模型的惩罚越强。
    nn
  4. 惩罚项 \(k \ln n\)随着参数和样本量增加的复杂度税。
    kln⁡nk \ln n

实践落地：从纸面到侦探社日常

把理论搬到侦探社日常，会遇到扫描卷宗太慢、噪声太多、代码不稳定等现实问题。概率编程与深度学习的落地也是如此：不仅要算法正确，还要工程可控。最大的挑战来自于随机梯度方差大、收敛慢；其次是概率层多次采样的计算开销高；再有数值稳定性问题，比如方差趋向零导致梯度爆炸。

实践中常把 ELBO 写成“负对数似然 + 正则项”的混合损失，直接塞进深度学习训练循环。混合模型通常把神经网络当编码器，概率层当解码器，再用变分推断联合训练。开发上则从小模型、玩具数据开始验证，再逐步扩展到真实场景，形成一个“假设 → 建模 → 采样 → 评估”的迭代闭环。一个可被直接优化的目标如下：

最终，侦探社既享受 AI 助手的快手，也保留老侦探的审慎。融合不是二选一，而是用工程化的方式把两种智慧焊在一起。

L(θ)=−∑i=1nlog⁡N(yi;fθ(xi),σθ(xi))+β KL(q(θ)∥p(θ))\displaystyle L(\theta) = -\sum_{i=1}^{n} \log \mathcal{N}\left(y_i; f_\theta(x_i), \sigma_\theta(x_i)\right) + \beta\, \mathrm{KL}\left(q(\theta) \| p(\theta)\right)
第一项惩罚预测不准，第二项惩罚偏离先验太远，\(\beta\) 控制两者的相对轻重。
  1. 负对数似然项对每个真实观测，希望预测分布给它足够高的概率，否则就惩罚。
    −∑i=1nlog⁡N(yi;fθ(xi),σθ(xi))-\sum_{i=1}^{n} \log \mathcal{N}\left(y_i; f_\theta(x_i), \sigma_\theta(x_i)\right)
  2. KL 正则项让参数后验不要离先验太远，相当于给模型套上“逻辑缰绳”。
    KL(q(θ)∥p(θ))\mathrm{KL}\left(q(\theta) \| p(\theta)\right)
  3. 权重 \(\beta\)控制数据拟合与先验约束之间的平衡，\(\beta\) 越大，模型越保守。
    β\beta
  4. 端到端可微整个目标对 \(\theta\) 可微，因此可以直接用深度学习优化器训练。
    L(θ)L(\theta)

AI 应用场景

自动驾驶中的不确定性感知

阶段：模型部署与风险控制

解决的问题：传统深度学习检测器只输出边界框，遇到罕见障碍物时仍会高置信度误判。概率层给每个检测结果附加认知不确定性，让系统在“没把握”时减速或请求接管。

具体案例：自动驾驶感知模块引入概率深度模型，检测到“未知形状物体”时输出高认知不确定性，触发安全策略，避免把画着人的卡车误判为天空。

金融时间序列的概率预测

阶段：预测与风险控制

解决的问题：点预测无法表达市场波动，交易员不知道模型到底有多自信。概率时间序列模型输出未来收益率的完整分布和置信区间，帮助设置止损仓位。

具体案例：量化私募用概率状态空间模型预测资产收益率，根据预测分布的尾部风险动态调整杠杆，避免在极端行情中爆仓。

医疗影像中的贝叶斯模型选择

阶段：算法选型与解释

解决的问题：不同病灶机制模型孰优孰劣，单凭准确率难以判断。贝叶斯模型选择比较后验建模概率或 BIC，选出最简洁且解释力强的模型。

具体案例：医学影像团队在卷积网络与概率生成模型之间做对比，通过 BIC 发现复杂模型只带来微小准确率提升，最终选择参数更少、更易解释的概率模型。

Python 演示

python35 行
import torchimport pyroimport pyro.distributions as distfrom pyro.infer import SVI, Trace_ELBOfrom pyro.optim import Adam torch.manual_seed(0)X = torch.linspace(-1, 1, 20)true_w = torch.tensor(0.8)true_b = torch.tensor(0.2)Y = true_w * X + true_b + torch.randn(20) * 0.1 def model(X, Y):    w = pyro.sample("w", dist.Normal(0, 1))    b = pyro.sample("b", dist.Normal(0, 1))    with pyro.plate("data", len(X)):        pyro.sample("obs", dist.Normal(w * X + b, 0.1), obs=Y) def guide(X, Y):    w_mean = pyro.param("w_mean", torch.zeros(1))    w_std = pyro.param("w_std", torch.ones(1), constraint=dist.constraints.positive)    b_mean = pyro.param("b_mean", torch.zeros(1))    b_std = pyro.param("b_std", torch.ones(1), constraint=dist.constraints.positive)    pyro.sample("w", dist.Normal(w_mean, w_std))    pyro.sample("b", dist.Normal(b_mean, b_std)) svi = SVI(model, guide, Adam({"lr": 0.05}), loss=Trace_ELBO()) for step in range(500):    loss = svi.step(X, Y)    if step % 100 == 0:        print(step, loss) print("w mean:", pyro.param("w_mean").item())print("b mean:", pyro.param("b_mean").item())
目的：用 Pyro 实现一个贝叶斯线性回归，并通过随机变分推断学习权重和偏置的后验分布，对应正文中“变分推断 + 概率编程框架”的实践。
  1. w = pyro.sample("w", dist.Normal(0, 1))声明权重 \(w\) 来自标准正态先验，相当于给“作案手法”一个初始怀疑度。
  2. with pyro.plate("data", len(X)):数据并行 plate，告诉 Pyro 20 条线索是独立观测。
  3. pyro.sample("obs", dist.Normal(w * X + b, 0.1), obs=Y)观测节点，把线性预测和噪声写进概率模型。
  4. def guide(X, Y):定义变分分布，用简单的正态分布家族去逼近真实后验。
  5. pyro.param(..., constraint=dist.constraints.positive)声明可学习参数，constraint 保证标准差始终为正。
  6. svi = SVI(model, guide, Adam({"lr": 0.05}), loss=Trace_ELBO())组装随机变分推断优化器。
  7. loss = svi.step(X, Y)每个 step 执行一次梯度更新，loss 是负 ELBO 的估计。

常见误区

误区听说 Dropout 可以看作贝叶斯近似，那我的神经网络已经具备不确定性感知了，不用再学概率编程。

正解Dropout 在测试时多次前向确实能给出近似不确定性，但它并不是完整的贝叶斯推断。它不提供明确的先验和后验，只是对模型的随机遮挡做了经验平均。概率编程定义了完整的概率模型，通过变分推断得到参数后验，远比 Dropout 的“伪不确定性”更可解释、可扩展。这好比侦探可以请路人随机指认，但老侦探的怀疑列表是有概率依据的。

为何常见：Dropout 和贝叶斯近似在论文中常被类比，初学者容易把“近似工具”当成“定义框架”。

误区既然变分推断已经最大化了 ELBO，得到的 q(θ) 就是真实后验 p(θ|D)，可以直接用来做精确概率计算。

正解最大化 ELBO 只是优化下界，并非直接等于后验；只有当变分族足够大且优化到全局最优时，q 才逼近真实后验。实际中受分布族选择和局部最优影响，q 只是“简化档案”。把它当精确后验会低估不确定性。这就像用一张模糊照片代替真人，足够认人，但不能用于指纹比对。

为何常见：教材常把近似符号写成近似相等，加上“最大化 ELBO”听起来像精确解。

误区概率层不就是在输出后面加一个高斯噪声吗？那我用随机扰动也能实现。

正解概率层不是事后加噪，而是让网络学习输出分布的参数（如均值和方差），并通过重参数化采样参与端到端训练。它让模型知道哪些区域值得相信、哪些区域充满风险。这好比侦探不是给结论随机抖动，而是学会自动报告“这次判断可信度低”。

为何常见：看到采样和随机性，很容易把机制理解为噪声注入，而忽略了分布参数学习和梯度传播。

误区一个模型若总报出很大的不确定性，说明它能力不行，应该换成确定性模型。

正解不确定性是模型诚实面对盲区的表现。高认知不确定性意味着数据覆盖不足，恰恰提示应该采集更多相关样本；高偶然不确定性意味着数据本身噪声大，概率模型会合理降权。确定性模型强行压低不确定性，可能在未知场景给出过度自信的错误预测。冒险者盲目相信直觉，侦探反而欢迎“不确定”的信号。

为何常见：传统点预测用 MSE 评价，人们潜意识里把“不确定”等同于“错误”。

面试题

Q1. 概率编程与深度学习融合的核心价值是什么？

单选题 · easy

  • A.让模型记住每个训练样本
  • B.让预测同时给出不确定度← 正确答案
  • C.把模型变成纯符号规则
  • D.消除数据中的所有噪声

答案：B。融合的最大好处是让深度模型在输出预测的同时给出概率化的不确定度，对应“既快又诚实”。A 是过拟合，C 是符号主义，D 无法真正实现。

Q2. 贝叶斯公式 \(p(\theta|D) \propto p(D|\theta)p(\theta)\) 中，\(p(\theta)\) 的名称是什么？

单选题 · easy

  • A.先验分布← 正确答案
  • B.后验分布
  • C.似然函数
  • D.边缘证据

答案：A。\(p(\theta)\) 是观察数据前对参数已有的认知，所以叫先验；后验是 \(p(\theta|D)\)，似然是 \(p(D|\theta)\)，分母是证据。

Q3. 变分推断中被最大化的目标函数是？

单选题 · mid

  • A.极大似然估计量
  • B.证据下界 ELBO← 正确答案
  • C.均方误差损失
  • D.模型先验概率

答案：B。ELBO 等价于 \(\log p(D) - \mathrm{KL}(q\|p)\)，最大化它能最小化近似分布与真实后验的 KL 距离。

Q4. 关于变分推断中的 ELBO，下列说法正确的是？

多选题 · mid

  • A.可缩小近似与真实分布距离← 正确答案
  • B.包含对数似然期望项← 正确答案
  • C.无需任何先验信息
  • D.可用作随机优化目标← 正确答案

答案：ABD。ELBO 最大化和 KL 最小化等价，A 对；它包含 \(\mathbb{E}_q[\log p(D|\theta)]\)，B 对；它仍需要先验，C 错；SVI 正是用随机梯度最大化它，D 对。

Q5. 重参数化技巧主要解决什么问题？

单选题 · mid

  • A.让随机采样可直接求导← 正确答案
  • B.让模型无需训练
  • C.让先验自动消失
  • D.让数据量无限增大

答案：A。把采样写为 \(\mu+\sigma\varepsilon\) 后，随机性移到外部噪声上，梯度可以绕到 \(\mu\) 和 \(\sigma\)，实现端到端训练。

Q6. 关于认知不确定性与偶然不确定性，正确的是？

多选题 · hard

  • A.认知不确定性可随数据减少← 正确答案
  • B.偶然不确定性来自数据噪声← 正确答案
  • C.两类不确定性可同时估计← 正确答案
  • D.认知不确定性来自传感器

答案：ABC。认知代表知识盲区，数据增多会降低；偶然与噪声有关，再多数据也不一定消失；概率层可同时输出两者。传感器偏差本质属于偶然不确定性来源，不是认知定义。

Q7. BIC 公式 \( \mathrm{BIC} \approx -2\ln L_{\max} + k\ln n \) 中，惩罚项受哪些因素影响？

多选题 · hard

  • A.最大对数似然数值
  • B.模型参数个数← 正确答案
  • C.样本量的大小← 正确答案
  • D.训练迭代的轮数

答案：BC。\(k\ln n\) 与参数个数 \(k\) 和样本量 \(n\) 有关；最大似然项在前面，迭代轮数与模型比较无关。

Q8. Pyro 概率编程框架主要基于哪个深度学习库构建？

单选题 · easy

  • A.TensorFlow 生态
  • B.PyTorch 深度学习库← 正确答案
  • C.JAX 自动微分框架
  • D.自定义独立计算图

答案：B。Pyro 构建在 PyTorch 之上，可以直接把概率层嵌入神经网络；TFP 则属于 TensorFlow 生态。

Q9. 关于概率时间序列预测，下列说法正确的是？

单选题 · hard

  • A.长期预测方差会逐渐扩大← 正确答案
  • B.未来输出被视为确定性值
  • C.参数后验不影响预测分布
  • D.只需输出一个最佳点估计

答案：A。随着预测步数增加，状态和参数的不确定性都会累积，方差扩大是正常现象。概率模型输出的是分布而非点估计。

Q10. 概率编程与深度学习工程化落地时常见的挑战包括？

多选题 · hard

  • A.随机梯度估计方差较大← 正确答案
  • B.概率模型计算开销较高← 正确答案
  • C.后验分布本身并不唯一
  • D.数值稳定性问题需处理← 正确答案

答案：ABD。SVI 用采样估计期望，方差大；概率层多次采样开销高；离散或近似计算易遇数值问题。C 错，真实后验是唯一确定的，变分近似不唯一但后验唯一。