你是否遇到过这样的场景：老村长想查清一条传了三天的谣言到底从谁嘴里冒出，可每个人只记得昨天的事。要沿着时间往前推，就得一个接一个地问，问到最后人证可能早忘了。这就像我们要预测今天的天气、语音或股票曲线，模型需要回看很远的过去。RNN 像挨家挨户敲门的老调查员，走得深但很容易在漫长的路上忘事；而 WaveNet 像一名会“跳房子”的机灵信使，一步跨 1 格、再跨 2 格、4 格、8 格……只需很少的步数就能摸到源头。它用因果卷积保证只看过去，用空洞卷积让视野指数放大，再用门控激活与残差跳跃层层筛选、稳稳传递。本文就用这套“跳着回望”的思路，带你读懂 WaveNet 空洞卷积长序列建模的全部精髓。

岗位关联

WaveNet 是音频生成与时序预测的奠基性模型，掌握它能让你理解现代长序列建模的底层根基，进而在大模型时代看懂时序与生成类任务的工程脉络。

目录
  1. 可视化演示
  2. 背景与动机
  3. 因果卷积
  4. 空洞卷积
  5. 门控激活
  6. 残差跳跃
  7. 训练生成
  8. 应用实践
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

展示空洞卷积感受野指数扩展、因果卷积门控激活及残差跳跃连接结构，支持模式切换与膨胀率调节。

本节配有交互动效（进入视口后自动加载，约 3KB）。

空洞卷积感受野 膨胀率d在卷积核间插入间隔，感受野随层数指数增长 RF=2^L * k d=1,2,4,8堆叠后感受野达256

背景与动机

老村长发现，调查团如果只沿着相邻的证人一个个问，三天前的事要问三个人，十天前就要排起长队，效率低还容易因证人记忆模糊而出错。这正是长序列建模面临的困境：序列数据中每一个新时刻，都可能与很久以前的某个值相关，而这种依赖距离往往非常远。

音频是典型的长序列：每隔几毫秒一个采样点，一句话可能包含几万步；每个音都取决于它之前的所有音，甚至句子开头的语气会影响到结尾。传统 RNN 虽然在理论上能记住全部历史，但反向传播时梯度沿时间连乘，远处的梯度会指数消失，模型实际上记不住太远的信息。

WaveNet 不再用循环结构，而是把序列当作一维图片，用卷积神经网络并行扫描。它把“生成一个长序列”拆成逐点条件概率的乘积，模型只需要预测下一个采样点。这个看似简单的“每天只问昨天”的拆解，让长期依赖变得可以训练、可以生成。

就像老村长把“查谣”变成“每天只确认昨天听到谁说的”这个简单动作，WaveNet 把复杂的长期依赖拆成每一步只看过去，模型就可以大规模并行地学习。

P(x1,x2,…,xT)=∏t=1TP(xt∣x1,x2,…,xt−1)P(x_1, x_2, \ldots, x_T) = \prod_{t=1}^{T} P(x_t \mid x_1, x_2, \ldots, x_{t-1})
这个式子说明，要预测今天的谣言版本，只需把过去每一天的传播链条拆开，一环扣一环地计算。
  1. 联合概率把整段序列同时出现的概率写成每个时刻陆续出现的条件概率的连乘。
    P(x1,x2,…,xT)P(x_1, x_2, \ldots, x_T)
  2. 连乘符号$\prod$ 表示从第 1 个时刻乘到第 T 个时刻，每一步都只依赖过去。
    ∏t=1T\prod_{t=1}^{T}
  3. 条件概率$P(x_t \mid \cdots)$ 表示给定前面所有 t-1 个历史值后，预测当前值，这就是“只看过去”的因果思想。
    P(xt∣x1,x2,…,xt−1)P(x_t \mid x_1, x_2, \ldots, x_{t-1})

因果卷积

调查团有一条铁律：任何时候都不能问还没发生的事。就像证人只可能听过昨天的传言，不可能听过明天的。这条铁律在模型里叫因果性：预测 t 时刻时，绝不使用 t 时刻之后的信息。

普通卷积在提取特征时会同时看到左右邻居，这对时序来说是“偷看未来”，会把答案提前泄漏给模型。WaveNet 用了因果卷积，滤波器只从当前位置往左覆盖，保证输出 t 时刻只依赖输入 0 到 t 时刻的值。这样训练时的预测函数与生成时的采样过程完全一致，不会出现训练时借用未来、生成时却借不到的空隙。

具体到公式，用卷积核扫过序列时，只有当前位置与左侧 K-1 个采样点参与计算。卷积核大小 K 决定了每一步能回看多少邻居，输出长度与输入长度保持一致。

因果卷积就像调查员只能查看过去的卷宗，不能碰未来的信封；这是 WaveNet 能够在生成时不崩乱的根基。

yt=∑k=0K−1wk xt−ky_t = \sum_{k=0}^{K-1} w_k \, x_{t-k}
因果卷积像一份“只许回看、不许预知”的卷宗，保证了训练和生成使用同样的信息口径。
  1. 输出位置$y_t$ 表示第 t 个时刻卷积输出的值，只由输入序列中 t 及其左侧位置决定。
    yty_t
  2. 卷积核遍历$k$ 从 0 到 K-1 遍历卷积核的每个权重位置，代表看过去 K 个采样点。
    ∑k=0K−1\sum_{k=0}^{K-1}
  3. 权重相乘$w_k$ 是第 k 个位置的卷积核权重，与对应历史输入 $x_{t-k}$ 相乘后累加，实现“只回看过去”的因果卷积。
    wk xt−kw_k \, x_{t-k}

空洞卷积

如果调查员一步一步走，查十天的谣言要走十步。现在老村长给每人发了一副“跳格子地图”：第一天跳 1 格、第二天跳 2 格、第三天跳 4 格……几步就能覆盖很长的街道。空洞卷积就是干这件事的。

空洞卷积在卷积核里插入“空洞”，让相邻权重之间相隔若干个点，从而在不增加参数也不减少输出长度的前提下，把单个卷积核的感受野成倍扩大。第 l 层通常使用膨胀因子 $d_l = 2^l$。例如一个核大小为 2 的卷积，原本只能看到相邻两个点；当膨胀因子为 4 时，它看到的两个点相隔 4 个位置，视野瞬间拉远。

多层堆叠时，各层膨胀因子指数增长，最终感受野能覆盖成千上万个采样点。普通卷积想覆盖 64 个点需要 64 层，空洞卷积只需 6 层就能做到，参数量还保持不变。

跳着问路的信使数量没变，却把整个街区的谣言源头摸清了；这就是空洞卷积“以小博大”的智慧。

yt=∑k=0K−1wk xt−dl⋅ky_t = \sum_{k=0}^{K-1} w_k \, x_{t - d_l \cdot k}
空洞卷积像信使跳着问路：人还是那些人，步数也没多，却能在寥寥几步内覆盖整条街。
  1. 膨胀步长$d_l$ 是第 l 层的膨胀因子，通常取 $d_l = 2^{l}$，让卷积核每隔 $d_l$ 个点采样一次。
    dl=2ld_l = 2^{l}
  2. 采样位置$x_{t - d_l \cdot k}$ 表示卷积核第 k 个权重拿到的是更早的历史值，从而在不增大卷积核体积的情况下拉住更远的信息。
    xt−dl⋅kx_{t - d_l \cdot k}
  3. 逐层堆叠$y_t$ 是当前层的输出；每堆一层，实际能影响 $y_t$ 的过去范围就翻倍。
    yty_t

门控激活

调查员听到了很多信息，但不能全信。老村长的经验是：每个人都要先判断“这条信息可信吗”，再决定把多少内容写进报告。这就是门控思想。

WaveNet 的门控激活单元有两路并行计算：一路用 tanh 把输入映射到 -1 到 1 之间，表示候选内容的“说法”；另一路用 sigmoid 输出 0 到 1 的“可信度开关”，两者逐元素相乘，就能筛选出重要信息、抑制噪音。

这比普通 ReLU 更灵活：ReLU 只是把负数置零，门控却可以保留任意比例的内容。公式中 * 表示卷积操作，⊙ 表示逐元素相乘。两个分支共享同一个输入，却各学各的权重，最后相乘得到门控输出。

就像证人先在脑海里“写草稿”（tanh），再决定“说多少”（sigmoid），最后把这两者融合，才是一份真正有用的口供。

z=tanh⁡(V∗x)⊙σ(W∗x)\mathbf z = \tanh(\mathbf V * \mathbf x) \odot \sigma(\mathbf W * \mathbf x)
门控激活像证人先在心里打草稿，再由编辑决定这段话能刊出多少。
  1. 内容通道$\tanh(\mathbf V * \mathbf x)$ 是滤波器产生的候选内容，负责表达“这段历史的含义”。
    tanh⁡(V∗x)\tanh(\mathbf V * \mathbf x)
  2. 门控通道$\sigma(\mathbf W * \mathbf x)$ 是门控信号，取值在 0 到 1 之间，决定每个位置的记忆被放行多少。
    σ(W∗x)\sigma(\mathbf W * \mathbf x)
  3. 逐元素相乘$\odot$ 把内容与门控逐元素相乘，保留有用信息、抑制噪声，这就是门控激活层的核心。
    ⊙\odot

残差跳跃

调查团层级多了以后，信息可能在转述中丢失。老村长规定：每层拿到材料时，除了写下调查报告，还必须把原始材料原样附在副本后面，这便是残差思想。

深度网络训练时，梯度要从最后一层传回第一层，中间经过很多次乘法，容易消失。残差连接把输入直接加到输出上，等于给梯度开了一条“高速公路”；跳跃连接则把每一层门控模块抽取的特征单独收集起来，直接汇入最终输出。两条通路配合，底层信号既能直达输出，中间特征也不会被埋没，模型可以堆到几十层而不退化。

残差连接是层内相加，跳跃连接是跨层汇总。两者名字相近但分工不同，最终都服务于“信息不丢、梯度不断”这个目标。

残差是“档案备份”，跳跃是“特快专递”，两者配合让谣言链条再长也不断线。

r=x+z,y=ReLU(∑lsl+b)\mathbf r = \mathbf x + \mathbf z, \qquad \mathbf y = \mathrm{ReLU}\left( \sum_{l} \mathbf s_{l} + \mathbf b \right)
残差是“档案备份”，跳跃是“特快专递”，两者配合让谣言链条再长也不断线。
  1. 残差连接$\mathbf r = \mathbf x + \mathbf z$ 把原始输入 $\mathbf x$ 与层输出 $\mathbf z$ 相加，保证信息不因层次加深而流失。
    r=x+z\mathbf r = \mathbf x + \mathbf z
  2. 跳跃连接$\mathbf s_{l}$ 是每层门控模块抽取出的中间特征，被单独收集起来作为最终输出的材料。
    sl\mathbf s_{l}
  3. 累积输出$\sum_{l} \mathbf s_{l} + \mathbf b$ 把各层跳跃特征汇总并加偏置，最后经过 ReLU 激活送入后续分类。
    ReLU(∑lsl+b)\mathrm{ReLU}\left( \sum_{l} \mathbf s_{l} + \mathbf b \right)

训练生成

老村长最终要的不是一张过去的报告，而是能推演出“明天可能流传的新谣言”。WaveNet 训练时用真实历史当输入，预测下一个采样点，这叫自回归。

对于音频这类连续信号，WaveNet 通常量化成 256 个级别，再用多分类的 softmax 输出每个级别的概率。训练时用交叉熵损失；生成时按概率采样，温度参数控制模型的“胆大还是谨慎”。

为了在训练时让“采样”这个过程也能求梯度，Gumbel-Softmax 引入 Gumbel 噪声和温度退火，让离散采样变成可微的软选择，从而提升生成质量。温度越低，分布越尖锐，生成越保守；温度越高，分布越平滑，生成越有创造性。

就像写小说：先按前文推演每个字出现的概率，再掷一个带偏向的骰子构成下一句；温度越低风格越保守，温度越高灵感越奔放。

P(xt=i∣x<t)=exp⁡(log⁡πt,i/τ)∑j=1Cexp⁡(log⁡πt,j/τ)P(x_t = i \mid \mathbf{x}_{<t}) = \frac{\exp\left( \log \pi_{t,i} / \tau \right)}{\sum_{j=1}^{C} \exp\left( \log \pi_{t,j} / \tau \right)}
温度采样像掷一枚可以调偏心度的骰子：温度低时总是选最重的面，温度高时各面都有机会。
  1. 类别概率$P(x_t = i \mid \mathbf{x}_{<t})$ 表示给定历史时间序列后，当前第 t 个采样点是第 i 类的概率。
    P(xt=i∣x<t)P(x_t = i \mid \mathbf{x}_{<t})
  2. 对数得分$\log \pi_{t,i}$ 是网络为第 i 个候选值打出的对数分数，再除以温度参数 $\tau$ 控制分布尖锐程度。
    log⁡πt,i/τ\log \pi_{t,i} / \tau
  3. 归一化分母$\sum_{j=1}^{C} \exp(\cdot)$ 对所有候选类求和，把分数变成合法的概率分布，最后用于采样生成新序列。
    ∑j=1Cexp⁡(log⁡πt,j/τ)\sum_{j=1}^{C} \exp\left( \log \pi_{t,j} / \tau \right)

应用实践

这一套“跳着回望”的本领，不只在村口谣言上有用；只要数据是按时间排列的，都可以借鉴。WaveNet 最著名的场景是语音合成，它能生成接近真人的语音，靠的就是超长感受野捕捉口音、语气和停顿。

在基础筑基层的时序分析与预测中，WaveNet 也可以用于施工传感器数据、能耗曲线、设备状态等长序列预测。工程上要先算清感受野再配参数：给定卷积核大小 K、层数 L、膨胀因子按 2 的幂增长，模型到底能看多远，一算便知。配好以后，再配合残差、跳跃和门控，就能稳定地训练深层网络。

感受野公式是最常用的工程清单：它告诉我们为了覆盖某个历史长度，最小需要多少层。层数太少会漏掉关键历史，层数太多又会引入不必要的参数与过拟合风险。

老村长的“跳格子调查法”终于落地成一套工程模板：先算清能看多远，再用门控过滤信息，用残差保底，用跳跃汇总，最后交给自回归生成器，就能在各种长序列战场上派上用场。

R=1+∑l=0L−1(K−1)⋅2lR = 1 + \sum_{l=0}^{L-1} (K-1) \cdot 2^{l}
这个公式像一张“视野丈量表”：开工前先量好街道长度，再决定派几个信使。
  1. 首节点常数 1 表示当前输出自己的位置，所有历史覆盖都从它开始回看。
    1+1 +
  2. 逐层叠加$\sum_{l=0}^{L-1}$ 遍历所有 L 层空洞卷积，每一层都额外伸展一段覆盖。
    ∑l=0L−1\sum_{l=0}^{L-1}
  3. 步长扩张$(K-1) \cdot 2^{l}$ 表示第 l 层膨胀步长带来的感受野增量；K 是卷积核大小，$2^l$ 是膨胀倍数。
    (K−1)⋅2l(K-1) \cdot 2^{l}

AI 应用场景

语音合成与音频生成

阶段：模型训练与生成推理

解决的问题：传统拼接式语音合成听起来生硬，无法捕捉长程语调变化；WaveNet 的因果空洞卷积让每个音素都能回看整句历史，从而生成自然流畅的语音。

具体案例：智能客服播报“我要退订上个月开通的会员”时，模型根据前文“我要退订”的语境，为“会员”赋予自然的强调语气，而不是一个调子念到底。

工业时序预测

阶段：特征抽取与时序预测

解决的问题：施工塔吊传感器每 0.1 秒上报一次数据，异常往往源于十几秒前的负载变化；普通 RNN 梯度消失，WaveNet 能通过指数膨胀覆盖上千步历史。

具体案例：在基础筑基层项目中，用 WaveNet 预测塔吊液压系统压力，结合空洞卷积历史窗口，提前 3 秒给出超限预警，减少设备停机损失。

能耗与负荷预测

阶段：模型推理与结果解释

解决的问题：建筑能耗长序列受天气、时段等多因素影响；WaveNet 的跳跃连接让不同粒度的历史模式都参与预测，避免只看最近几小时导致偏差。

具体案例：对园区电表按小时粒度预测未来 24 小时负荷，在高温天气模型自动回溯 48 小时前的温度趋势，提前调度储能设备。

Python 演示

python49 行
import numpy as np  def causal_dilated_conv(seq, weight, dilation):    # 对一维序列做因果空洞卷积    K = len(weight)    n = len(seq)    out = np.zeros(n)    for t in range(n):        acc = 0.0        for k in range(K):            idx = t - k * dilation            if idx >= 0:                acc += weight[k] * seq[idx]        out[t] = acc    return out  def receptive_field(layers, kernel):    return 1 + sum((kernel - 1) * (2 ** l) for l in range(layers))  class TinyWaveNet:    def __init__(self, layers=4, kernel=2):        self.layers = layers        self.kernel = kernel        self.filter_w = [np.random.randn(kernel) for _ in range(layers)]        self.gate_w = [np.random.randn(kernel) for _ in range(layers)]     def forward(self, x):        h = x.copy()        skip = np.zeros_like(x)        for l in range(self.layers):            d = 2 ** l            content = np.tanh(causal_dilated_conv(h, self.filter_w[l], d))            gate = 1.0 / (1.0 + np.exp(-causal_dilated_conv(h, self.gate_w[l], d)))            z = content * gate            skip += z            h = h + z        return skip  if __name__ == '__main__':    np.random.seed(0)    seq = np.array([0.1, 0.3, 0.2, 0.5, 0.4, 0.8, 0.6, 0.9])    model = TinyWaveNet(layers=3, kernel=2)    pred = model.forward(seq)    print('skip sum:', pred)    print('receptive field:', receptive_field(3, 2))
目的：用 numpy 实现一个微型 WaveNet，演示空洞因果卷积、门控激活、残差与跳跃连接的组合，并计算感受野。
  1. def causal_dilated_conv(seq, weight, dilation):实现空洞因果卷积，是 WaveNet 的最基础算子。
  2. idx = t - k * dilation按膨胀步长去取历史样本，跳过中间点。
  3. if idx >= 0:保证只用过去信息，实现因果性。
  4. content = np.tanh(...)门控激活的 tanh 内容通道。
  5. gate = 1.0 / (1.0 + np.exp(-...))用 sigmoid 计算放行比例。
  6. z = content * gate逐元素相乘，得到门控输出。
  7. skip += z累积跳跃连接，收集每层特征。
  8. h = h + z残差连接，保证深层梯度传递。
  9. receptive_field(3, 2)计算 3 层、核大小 2 时可以覆盖 8 个时间点。

常见误区

误区我以为空洞卷积跳着取点，一定会漏掉中间信息，等价于某种降采样。中间那些被跳过的点是不是就彻底丢了？

正解空洞卷积每一步都输出完整长度的特征，只是卷积核的采样点之间隔出间距。它没有删掉任何时间步，而是把“感受野”扩大，中间信息由后续卷积层继续覆盖。就像信使跳着问路，但每条路上都还有别的记录员，不是直接扔掉。

为何常见：看到“空洞”这两个字，很容易联想到丢点或池化，忽略了膨胀因子只改变卷积核内权重之间的距离，不改变输出长度。

误区我以为因果卷积只是把普通卷积的 padding 两侧补零，左边补得更多一点而已。反正右边也补了零，应该就不会偷看未来吧？

正解普通卷积即使右边补零，前面的非零时间步也会被卷积窗扫到，右侧的“未来值”其实参与过计算，仍然会泄漏。因果卷积在数学上只对 t, t-1, ... 求和，要求输出 t 与任何大于 t 的输入无关。调查员只能翻过去的档案，不能因为档案柜右侧补了几页空白就以为那些文件不存在。

为何常见：很多教材画因果卷积时都用不对称 padding 来示意，容易让人把 padding 本身当成因果性的来源。

误区我一直以为门控激活只是把输入再过一遍 sigmoid，当作一个新的激活函数来用。只要输出在 0 到 1 之间，不就算门控了吗？

正解WaveNet 门控激活是 tanh 与 sigmoid 两个分支逐元素相乘。tanh 负责把信息压缩成有意义的候选表达，sigmoid 决定每个维度的放行比例，两路各司其职。它比单分支 ReLU 或 sigmoid 多了一层“筛选”能力，是两个通道的协作，而不是一个函数替换另一个函数。

为何常见：网上不少简化图只画出 sigmoid 分支，或者把门控与激活混为一谈，让人误以为门控就是 sigmoid 输出。

误区我以为空洞卷积参数不增长，所以可以无限加层，感受野越大模型肯定越强，反正不用多花钱。

正解感受野过大会带来内存压力和过拟合风险，梯度要穿过的路径太长也可能不稳定。工程上要根据序列长度与任务需求选择层数，并使用合适的膨胀因子排布（比如 1、2、4、8…），再配合残差、跳跃和 Dropout 才能发挥效果。就像查谣不能一口气派 100 个信使，街道被塞满反而听不清。

为何常见：因为空洞卷积的参数不随感受野指数增加，让人产生“免费午餐”的错觉，忽略了深层网络本身更抽象、也更难优化的事实。

面试题

Q1. 因果卷积的核心约束是什么？

单选题 · easy

  • A.输出序列比输入短
  • B.只看当前与过去← 正确答案
  • C.卷积核必须是奇数
  • D.每层都需膨胀

答案：B。因果卷积要求 t 时刻的输出不能依赖任何未来输入，所以只看当前与过去。A 错在因果卷积不改变长度；C 与核大小无关；D 是空洞卷积的做法，不是因果约束。

Q2. WaveNet 扩大感受野的主要手段是？

单选题 · easy

  • A.增大卷积核宽度
  • B.堆叠普通卷积层
  • C.使用指数膨胀因子← 正确答案
  • D.增加全连接层

答案：C。WaveNet 用膨胀因子 1、2、4、8、16… 的空洞卷积，使每层视野指数增长。A 会增加参数，B 也可以但效率低，D 与感受野无关。

Q3. 门控激活中决定信息放行比例的是？

单选题 · easy

  • A.tanh 分支
  • B.sigmoid 分支← 正确答案
  • C.ReLU 分支
  • D.softmax 分支

答案：B。sigmoid 输出 0 到 1 的权值，逐元素乘到 tanh 内容上，决定放行多少。tanh 提供内容，ReLU 和 softmax 不参与门控。

Q4. 四层空洞卷积膨胀因子 1、2、4、8，核大小 2，感受野覆盖多少个时间点？

单选题 · mid

  • A.覆盖 4 个时间点
  • B.覆盖 8 个时间点
  • C.覆盖 16 个时间点← 正确答案
  • D.覆盖 32 个时间点

答案：C。根据公式 R=1+(K-1)(1+2+4+8)=1+15=16。A、B 漏算了逐层累积，D 多算了一倍。

Q5. 残差连接在深层 WaveNet 中的主要作用是？

单选题 · mid

  • A.降低模型计算量
  • B.缓解梯度消失问题← 正确答案
  • C.成倍扩大感受野
  • D.替代门控激活

答案：B。残差把输入加到输出，为梯度提供短路通道，缓解深层退化。它不直接降低计算量；扩大感受野靠空洞卷积；门控激活是独立模块。

Q6. Gumbel-Softmax 在 WaveNet 生成中的主要用途是？

单选题 · mid

  • A.使离散采样可微← 正确答案
  • B.加速卷积计算
  • C.压缩模型参数
  • D.替代跳跃连接

答案：A。Gumbel-Softmax 引入 Gumbel 噪声和温度退火，让不可导的 argmax 采样变成可导的软选择，从而支持端到端训练。B、C、D 与它无关。

Q7. 关于空洞卷积膨胀因子设置，正确说法是？

单选题 · hard

  • A.各层固定为 1 即可
  • B.通常随层数指数增长← 正确答案
  • C.必须随层数递减
  • D.与感受野大小无关

答案：B。WaveNet 常用 d=1、2、4、8… 使感受野快速扩大，同时参数不增加。固定为 1 等于普通卷积，递减会浪费覆盖，D 显然错误。

Q8. 下列哪些属于 WaveNet 的核心组件？

多选题 · mid

  • A.因果卷积层← 正确答案
  • B.空洞卷积层← 正确答案
  • C.Dropout 层
  • D.BatchNorm 层

答案：AB。因果卷积保证时序合法性，空洞卷积扩大感受野，是 WaveNet 最核心的两块。Dropout 与 BatchNorm 只是可选训练技巧，不属于定义性组件。

Q9. 跳跃连接在 WaveNet 中的作用包括？

多选题 · hard

  • A.收集每层中间特征← 正确答案
  • B.帮助梯度快速回流← 正确答案
  • C.融合多尺度信息← 正确答案
  • D.替换原始输入信号

答案：ABC。跳跃连接把每层门控输出直接汇总到最终层，既收集中间特征、辅助梯度传播，也让多尺度信息集合起来参与预测。但它不替代原始输入，D 错误。

Q10. 训练 WaveNet 时直接对 argmax 采样结果计算损失，最可能出现的问题是？

单选题 · extreme

  • A.梯度无法回传到网络← 正确答案
  • B.卷积核尺寸爆炸
  • C.采样速度变慢
  • D.感受野自动缩小

答案：A。argmax 的离散输出对概率输入不可导，梯度会断掉；Gumbel-Softmax 正是为了以可微方式替代硬采样。B、C、D 均不是直接后果。