夜幕降临，“月港俱乐部”门口排起长队。门卫老周一手捧着笔记本，一手握着笔。笔记本上记着每位客人的特征——爱喝什么酒、和谁一起来、上次有没有闹事，这就是他的“记忆”。每来一位新客人，老周都要做两个决定：第一，打临时备注时，要不要翻旧账？第二，最终落笔时，旧名单保留几成、新情报写进几成？这两个决定，就是 GRU 的两道门——重置门与更新门。 更早之前，俱乐部用的是“豪华三人组”方案：三道门加一个独立记忆柜，安全但费人力。老周的单人精简方案把三道门合成两道、把记忆柜并进笔记本，服务质量几乎不变，人力却省了约四分之一。这就是 GRU 门控精简的智慧：用更少的开关，控制同样的信息流。本文就从老周这本笔记本出发，逐行拆解这两道门的工作原理、与 LSTM 的对比，以及工程调参的关键经验。

岗位关联

掌握 GRU 的门控精简哲学，你能在序列建模中同时拿到三样武器：更快的训练迭代、更低的边缘部署成本，以及“何时该用简单模型”的工程判断力。

目录
  1. 可视化演示
  2. 门控机制原理
  3. 重置门设计
  4. 更新门设计
  5. 候选状态生成
  6. 状态融合更新
  7. 对比LSTM性能
  8. 超参工程调优
  9. AI 应用场景
  10. Python 演示
  11. 常见误区
  12. 面试题

可视化演示

动态演示GRU门控精简的核心机制，通过输入/处理/存储/输出四种模式展示关键概念与交互流程。

本节配有交互动效（进入视口后自动加载，约 3KB）。

GRU门控精简：门置层与 门置层与更新层的数学模型推导 门控机制与信号流控制 核心机制可视化 GRU门控精简整体架构与关键组件

门控机制原理

门卫老周有个原则：不是所有信息都值得写进笔记本。熟客刷脸就进，嫌疑名单要重点盘查，路人甲随便登记就走。这个“选择性放行”的思想，就是循环神经网络里的“门控”。用数学语言说，门控是一支阀门——它不粗暴地决定放行或拦截，而是给每条信息打一个 0 到 1 之间的“开度”。

这个开度由 sigmoid 函数给出。任何数值经过 σ 的挤压，都乖乖落在 (0,1) 之间：0 是关死，1 是放行，0.6 就是半开半掩。GRU 之所以高效，正是因为它把“记什么、忘什么、写什么”统统变成连续的开度调节，而不是二元的开与关。

更妙的是，门控同时是梯度的高速通道。RNN 训练时，误差要沿着时间轴往回传，每经过一步都会被乘上一个小于 1 的因子，传不了几步就消失殆尽，这就是“梯度消失”。而门控能让这条通道保持“接近 1”的开度，梯度得以乘车直达远处的时刻，这正是门控缓解梯度消失的根本原因。

老周的笔记本所以越记越准，靠的不是死记硬背，而是每一条记录都经过“开度”的审核。理解了这支阀门的哲学，接下来的重置门与更新门，就是它的两个具体化身。

σ(x)=11+e−x\displaystyle \sigma(x) = \frac{1}{1 + e^{-x}}
σ 把任意实数压缩到 (0,1)，相当于给“信息放行量”设计了一个永远不越界的旋钮。
  1. 综合评分 x门控的原始输入，是把当前输入与旧状态经过线性组合得到的“综合情报”，可正可负。
    x=Wgxt+Ught−1+bg\displaystyle x = W_g x_t + U_g h_{t-1} + b_g
  2. 负指数映射评分越高，e^{-x} 越小；评分越低，e^{-x} 越大，形成一种“反向计分”。
    e−x\displaystyle e^{-x}
  3. 分母构造1 加上 e^{-x} 后，整个分数恒为正，且随评分从负无穷到正无穷，分数从 0 单调逼近 1。
    1+e−x\displaystyle 1 + e^{-x}
  4. 开度输出最终得到一个 (0,1) 之间的连续开度，0.9 表示几乎全开，0.1 表示几乎全闭。
    σ(x)∈(0,1)\displaystyle \sigma(x) \in (0, 1)

重置门设计

老周写“临时备注”时有个小动作：偶尔翻一翻旧账。老客人这周刚来过，他就参考旧记录推断口味；上次来是五年前，他干脆把旧记录揉成一团，完全按新情报重新评估。这个“翻不翻旧账”的开关，就是重置门 r_t。

重置门的输入，是当前新客信息 x_t 和旧状态 h_{t-1} 的融合；输出是一个 0 到 1 的开度 r_t。r_t 越接近 1，候选记忆就越依赖旧状态；越接近 0，候选记忆就越像一张白纸。公式上，它和所有门一样，是线性组合后过 sigmoid。

从依赖建模来看，重置门负责捕捉“短期依赖”。当序列里出现剧烈的语义转折——比如“虽然…但是…”、情绪从否定翻转为肯定——模型需要果断丢掉过时上下文，这时 r_t 会收缩到接近 0，让候选状态围绕当前输入重新生成。它的存在，让 GRU 处理短程跳跃信息时比普通 RNN 灵活得多。

老周揉掉旧记录的动作看似随意，其实是门卫经验里最关键的“翻篇”技巧。重置门，就是 GRU 的翻篇开关。

rt=σ(Wrxt+Urht−1+br)\displaystyle r_t = \sigma(W_r x_t + U_r h_{t-1} + b_r)
重置门像老周手里的碎纸机：旧记录要不要、留多少，决定权全在它手里。
  1. 当前输入投影把新访客信息映射到隐藏空间，提炼与“翻不翻旧账”相关的特征。
    Wrxt\displaystyle W_r x_t
  2. 旧状态投影把旧名单也映射进来，让门卫能结合历史判断今天的策略。
    Urht−1\displaystyle U_r h_{t-1}
  3. 偏置项门卫的固有倾向，例如默认更爱参考旧记录还是更爱翻篇。
    br\displaystyle b_r
  4. 加法融合三个来源相加，得到关于重置的综合评分，可正可负。
    Wrxt+Urht−1+br\displaystyle W_r x_t + U_r h_{t-1} + b_r
  5. sigmoid 压缩输出 r_t ∈ (0,1)，接近 1 表示“大翻旧账”，接近 0 表示“白纸重写”。
    rt=σ(⋅)\displaystyle r_t = \sigma(\cdot)

更新门设计

如果说重置门管“草稿怎么写”，更新门就管“正本怎么落笔”。老周写完临时备注后，要决定：旧名单原样保留多少，临时备注的新内容抄进去多少？这个“新旧融合比例”就是更新门 z_t。

更新门的数学结构与重置门一模一样，只是权重各自独立。它同样接收 x_t 和 h_{t-1}，输出 0 到 1 的开度 z_t。关键在它的用法：最终状态由 (1-z_t) 份旧状态加 z_t 份候选状态合成。

更新门是 GRU 的长程记忆担当。当 z_t 接近 1 时，旧状态几乎原样流过，候选内容只做少量补充——这正是记忆“保鲜”的机制，信息可以沿着这条畅通的通道跨越几十甚至上百个时间步。同时，z_t 还把 LSTM 的输入门与遗忘门合并成一次决策，因为实际训练中这两个门往往互补（要遗忘的多，要写入的就少），合并后不但几乎不损失能力，反而减少了参数与计算。

老周落笔的瞬间，就是一场新旧信息的议价：旧名单是底气，新情报是增量，比例拿捏得好，笔记本才既连贯又新鲜。

zt=σ(Wzxt+Uzht−1+bz)\displaystyle z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)
更新门是“新旧议价”的裁决者：z 偏向 1，旧名单称王；z 偏向 0，新情报当家。
  1. 独立权重更新门拥有自己的参数 W_z 与 U_z，确保“翻篇”与“融合”两个决策互不干扰。
    Wzxt+Uzht−1\displaystyle W_z x_t + U_z h_{t-1}
  2. 综合评分新访客信息与旧状态共同决定“该更新多少”。
    Wzxt+Uzht−1+bz\displaystyle W_z x_t + U_z h_{t-1} + b_z
  3. sigmoid 输出z_t 越接近 1，最终状态越倾向“维持旧名单”。
    zt=σ(Wzxt+Uzht−1+bz)\displaystyle z_t = \sigma(W_z x_t + U_z h_{t-1} + b_z)
  4. 补数 1-z_t旧状态的保留比例恰为 1-z_t，一次决策同时完成了“写入”与“遗忘”两件事。
    1−zt\displaystyle 1 - z_t

候选状态生成

候选状态 h̃_t 是老周打的那份“临时备注草稿”。它融合了两路情报：新客人此刻的表现（当前输入 x_t），以及被重置门筛选后的旧记录（r_t ⊙ h_{t-1}）。注意，这里用的是“重置后的旧名单”——如果重置门已经翻篇，旧记忆就是零。

草稿的温度控制来自 tanh 激活函数。tanh 把任意实数压缩到 (-1,1)，相当于给草稿的每个元素设定“打分区间”，防止数值在多次传递后膨胀爆炸。对比 sigmoid 的 (0,1)，tanh 允许负值，这让候选状态能表达“反向修正”——比如旧状态写“客人喜欢烈酒”，新情报显示“今天戒酒”，草稿就能给出负向分量来对冲。

老周的草稿从来不直接上交，它只是“待定稿”。真正的定稿，要等更新门这位主编来定夺新旧比例——这正是下一节的状态融合。

h~t=tanh⁡(Whxt+Uh(rt⊙ht−1)+bh)\displaystyle \tilde{h}_t = \tanh(W_h x_t + U_h (r_t \odot h_{t-1}) + b_h)
候选状态是门卫的草稿纸，把“翻篇后的旧记忆”和“眼前的新情报”揉在一起，再用 tanh 限定边界。
  1. 重置调制重置门按元素地“揉捏”旧状态，被翻篇的部分归零，保留的部分进入草稿素材。
    rt⊙ht−1\displaystyle r_t \odot h_{t-1}
  2. 新信息投影当前输入独立贡献一份草稿素材。
    Whxt\displaystyle W_h x_t
  3. 历史投影把调制后的旧名单映射到草稿空间，参与编写。
    Uh(rt⊙ht−1)\displaystyle U_h(r_t \odot h_{t-1})
  4. 合流加偏置新情报与翻篇后的旧记忆相加，得到草稿的综合评分。
    Whxt+Uh(rt⊙ht−1)+bh\displaystyle W_h x_t + U_h(r_t \odot h_{t-1}) + b_h
  5. tanh 压缩把草稿限制在 (-1,1)，允许负向修正，数值稳定。
    h~t=tanh⁡(⋅)\displaystyle \tilde{h}_t = \tanh(\cdot)

状态融合更新

老周终于落笔了。最终名单 h_t 由两支笔写成：旧名单乘以 (1-z_t)，草稿乘以 z_t。这个操作叫“凸组合”——两个系数相加恰好等于 1，因此新状态永远落在新旧两个向量之间，不会因融合而数值失控。

从公式可以看到 GRU 真正“精简”的底气：LSTM 需要三个门分别控制“写入多少、遗忘多少、输出多少”，还要维护一条独立的细胞状态通道 c_t（相当于单独的保险柜）；GRU 用更新门一把抓——保留旧状态的比例 (1-z_t) 和采纳新信息的比例 z_t 是一对互补数，一次决策完成两件事，连保险柜也省了，笔记本自己就是唯一的记忆载体。

这种设计让梯度拥有了两条天然的高速通路：当 z_t 接近 1 时，h_t ≈ h_{t-1}，梯度沿旧状态路径近乎无损回传；当 z_t 接近 0 时，h_t ≈ h̃_t，梯度沿候选路径传播。无论走哪条路，GRU 都能在“记忆”和“更新”之间找到平衡，这正是它参数量更少却依然能稳定训练的秘密。

两支笔共用一张纸，写出的却是一本既连贯又鲜活的名录。精简的不是记录本身，而是管理记录的制度。

ht=(1−zt)⊙ht−1+zt⊙h~t\displaystyle h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t
最终状态 = 旧名单的“延续份额” + 草稿的“更新份额”，两支笔共用一张纸。
  1. 旧名单保留比例z_t 越大，旧名单被保留的份额越小。
    1−zt\displaystyle 1 - z_t
  2. 旧状态加权旧状态按保留比例缩放，形成“延续”分量。
    (1−zt)⊙ht−1\displaystyle (1 - z_t) \odot h_{t-1}
  3. 候选加权草稿按采纳比例缩放，形成“更新”分量。
    zt⊙h~t\displaystyle z_t \odot \tilde{h}_t
  4. 分量相加延续与更新相加得到新状态，系数和恒为 1，等价于在新旧向量之间做插值。
    ht=(1−zt)⊙ht−1+zt⊙h~t\displaystyle h_t = (1 - z_t) \odot h_{t-1} + z_t \odot \tilde{h}_t

对比LSTM性能

如果用“豪华三人组”形容 LSTM——输入门、遗忘门、输出门三道检查，外加独立记忆柜 c_t——那 GRU 就是“全能单干型”门卫：重置门管翻篇、更新门管融合，一本笔记本打天下。参数少多少？每个门都要一组权重矩阵，LSTM 有四组（输入、遗忘、输出、候选），GRU 只有三组（重置、更新、候选），少了整整一组。

推导参数量之比，结果正好是 3/4。这意味着同样维度下，GRU 比 LSTM 少约 25% 的参数，训练速度更快、显存占用更小。对追求迭代速度的工程师来说，这 25% 往往直接转化为实验频次和上线速度。

性能基准方面，公开评测与工业实践积累了共识：在大多数中短长度序列任务（文本分类、语音帧级识别、情感分析）上，GRU 与 LSTM 精度基本持平；在需要极长依赖的少数场景（如语言模型的长文本续写），LSTM 凭借独立细胞状态有时略占优势。选择原则应该是“用数据说话”：先用 GRU 快速验证，若遇到长依赖瓶颈再切换 LSTM。

老周靠精简流程做到了和三人组差不多的服务质量，还省下人力。GRU 与 LSTM 的抉择，本质是“够用就好”的工程哲学：少一道门，少一分成本，多一分效率。

PGRUPLSTM=3h(n+h+1)4h(n+h+1)=34=0.75\displaystyle \frac{P_{GRU}}{P_{LSTM}} = \frac{3h(n+h+1)}{4h(n+h+1)} = \frac{3}{4} = 0.75
同样维度下，GRU 参数量约为 LSTM 的四分之三，省下的四分之一换来更快的训练与更轻的部署。
  1. 单门参数量每个门的权重矩阵大小为 (n+h)×h，加上 h 个偏置。
    h(n+h+1)\displaystyle h(n+h+1)
  2. LSTM 四组门输入、遗忘、输出、候选四组权重。
    PLSTM=4h(n+h+1)\displaystyle P_{LSTM} = 4h(n+h+1)
  3. GRU 三组门重置、更新、候选三组权重。
    PGRU=3h(n+h+1)\displaystyle P_{GRU} = 3h(n+h+1)
  4. 比值化简上下约去 h(n+h+1)，得到 3/4，即参数减少约 25%。
    3h(n+h+1)4h(n+h+1)=34\displaystyle \frac{3h(n+h+1)}{4h(n+h+1)} = \frac{3}{4}

超参工程调优

笔记本的页数是老周最纠结的参数：页太少，客人信息记不全；页太多，写起来费时间还容易记混。在 GRU 里，这个“页数”就是隐藏维度 h。从参数公式 P_{GRU} = 3h(n+h+1) 可以看出，参数随 h 呈二次增长——h 翻一倍，参数变成四倍。

工程经验上，h 的起点通常在 64 到 256：短文本分类用 64 到 128 足够；语音识别这类高维连续信号可以把 h 提到 256 以上。判断过拟合的标准很简单：训练损失下降而验证损失回升，就该减小 h 或加大 Dropout，而不是一味堆容量。

另一组超参数是层数。堆叠多层 GRU 相当于多个门卫接力：第一层读原始输入，第二层读第一层的“摘要”，层级越高提取的抽象越宏观。但层数增加会线性加大延迟，在边缘设备上通常 1 到 2 层即可；配合残差连接、梯度裁剪，可以让深层 GRU 训练更稳。此外，双向 GRU 在文本分类中收益明显，但推理时需要完整序列，在线流式场景要慎用。

老周最终发现，好门卫不需要最厚的本子，而需要最合适的本子。调参的真谛，是在容量、速度与数据规模之间，找到那本“刚好装得下回忆”的笔记本。

PGRU=3h(n+h+1)\displaystyle P_{GRU} = 3h(n + h + 1)
参数随隐藏维度二次膨胀：h 是调优杠杆中“最粗的那根旋钮”，动它之前先想清楚数据量够不够。
  1. 输入维度 n每个时间步喂给网络的向量宽度，由词向量或特征维度决定。
    n\displaystyle n
  2. 隐藏维度 h笔记本的“页数”，即状态向量的宽度。
    h\displaystyle h
  3. 单矩阵结构权重矩阵 (n+h)×h 加偏置 h，共 h(n+h+1) 个参数。
    h(n+h+1)\displaystyle h(n+h+1)
  4. 三组权重系数r、z、候选各一组，共三组权重。
    3⋅h(n+h+1)\displaystyle 3 \cdot h(n+h+1)
  5. 二次增长规律h 翻倍时参数约变四倍，因此“加页数”要谨慎。
    P∝h2\displaystyle P \propto h^2

AI 应用场景

移动端实时文本情感分类

阶段：模型推理与端侧部署

解决的问题：传统 LSTM 在手机端推理延迟高、内存占用大，用户输入一句话要等上百毫秒才有结果。GRU 少 25% 的参数，在短句情感判断上精度与 LSTM 持平，能以更低功耗在端侧完成实时分析。

具体案例：某社交 App 的评论审核系统把线上 LSTM 替换为同维度 GRU 后，单条评论推理时间下降约 22%，内存峰值降低 18%，情感分类 AUC 几乎不变，审核响应从“用户无感”升级为“即发即审”。

语音唤醒词检测

阶段：模型压缩与边缘计算

解决的问题：智能音箱需要麦克风常驻、逐帧判断唤醒词，模型每秒要推理几十次；云端方案延迟高且隐私受限。GRU 参数少、状态单一，适合部署在算力有限的 DSP 或 MCU 上。

具体案例：某嵌入式语音方案采用 2 层 128 维 GRU，参数量约 150K，在 40MHz 的 MCU 上单帧 10ms 内完成推理，待机功耗显著下降，电池续航提升约三成。

在线序列风控

阶段：在线推理与高吞吐服务

解决的问题：支付风控需要实时处理交易序列，传统模型要么延迟高，要么占用过多内存。GRU 的单状态设计让模型体积更小、推理更快，适合高并发在线服务。

具体案例：某支付平台用 GRU 处理用户 20 步内的行为序列做欺诈识别，训练时间缩短 30%，线上 p99 延迟降低 25%，召回率与 LSTM 相当，成功在保留效果的同时降低了 GPU 成本。

Python 演示

python47 行
import numpy as np def sigmoid(x):    return 1.0 / (1.0 + np.exp(-x)) class NumpyGRU:    def __init__(self, n_in, n_hidden, seed=0):        rng = np.random.RandomState(seed)        self.W_r = rng.randn(n_in, n_hidden) * 0.1        self.U_r = rng.randn(n_hidden, n_hidden) * 0.1        self.b_r = np.zeros(n_hidden)        self.W_z = rng.randn(n_in, n_hidden) * 0.1        self.U_z = rng.randn(n_hidden, n_hidden) * 0.1        self.b_z = np.zeros(n_hidden)        self.W_h = rng.randn(n_in, n_hidden) * 0.1        self.U_h = rng.randn(n_hidden, n_hidden) * 0.1        self.b_h = np.zeros(n_hidden)     def forward(self, x_seq):        h = np.zeros(self.U_r.shape[1])        states = []        for x in x_seq:  # 逐时间步传递状态            r = sigmoid(x @ self.W_r + h @ self.U_r + self.b_r)            z = sigmoid(x @ self.W_z + h @ self.U_z + self.b_z)            h_tilde = np.tanh(x @ self.W_h + (r * h) @ self.U_h + self.b_h)            h = (1 - z) * h + z * h_tilde            states.append(h.copy())        return np.array(states), h     def param_count(self):        return (self.W_r.size + self.U_r.size + self.b_r.size +                self.W_z.size + self.U_z.size + self.b_z.size +                self.W_h.size + self.U_h.size + self.b_h.size) if __name__ == "__main__":    np.random.seed(7)    T, n_in, n_hidden = 20, 8, 16    x_seq = np.random.randn(T, n_in)  # 模拟一段长度为 20 的序列    gru = NumpyGRU(n_in, n_hidden)    states, final_h = gru.forward(x_seq)    print("隐藏状态序列形状:", states.shape)    print("最终隐藏向量范数: %.4f" % np.linalg.norm(final_h))    gru_params = gru.param_count()    lstm_params = 4 * n_hidden * (n_in + n_hidden + 1)    print("GRU 参数总量:", gru_params)    print("同维 LSTM 理论参数量: %d, 约为 GRU 的 %.2f 倍" %          (lstm_params, lstm_params / gru_params))
目的：用 NumPy 从零实现一个 GRU 前向传播，直观验证重置门、更新门与候选状态的计算流程，并对比同维度 LSTM 的参数量差距。
  1. r = sigmoid(x @ self.W_r + h @ self.U_r + self.b_r)重置门：新访客与旧名单加权求和后过 sigmoid，得到“翻篇开度”。
  2. z = sigmoid(x @ self.W_z + h @ self.U_z + self.b_z)更新门：结构与重置门相同，但权重独立，决定新旧融合比例。
  3. h_tilde = np.tanh(x @ self.W_h + (r * h) @ self.U_h + self.b_h)候选状态：重置门先按元素调制旧状态，再与输入一起生成草稿。
  4. h = (1 - z) * h + z * h_tilde状态融合：旧状态保留 (1-z) 份，草稿采纳 z 份，合成新状态。
  5. states.append(h.copy())保存每个时间步的隐藏状态，供分类、识别等下游任务使用。
  6. lstm_params = 4 * n_hidden * (n_in + n_hidden + 1)同维 LSTM 的理论参数量，用来验证文章中的 25% 差距。

常见误区

误区“GRU 比 LSTM 少 25% 参数，肯定又省又准，无脑选 GRU 就对了。”

正解参数少的直接收益是训练快、显存省、部署轻，但“效果”取决于任务与数据。在需要极长依赖的场景，LSTM 的独立细胞状态偶尔更稳。正确做法是先用 GRU 快速验证，再在长依赖瓶颈处对比 LSTM，用实验数据说话。

为何常见：把“高效”误解为“绝对优势”，忽略了序列建模任务的多样性。

误区“GRU 有两个门，重置门负责遗忘旧信息，更新门负责写入新信息。”

正解语义完全不同。真正丢弃旧状态的比例由更新门的补数 1-z 承担；重置门只在“生成候选草稿”时决定旧状态对草稿的影响强度。r=0 不代表遗忘旧状态，只是让草稿不参考旧状态而已。

为何常见：GRU 与 LSTM 都是“门”的框架，初学者容易把 LSTM 的遗忘/输入角色直接套到 GRU 上。

误区“门不就是控制信息的开关吗？要么放行要么拦住。”

正解sigmoid 输出 (0,1) 连续值，门的本质是“开度”。实际训练中多数门值集中在 0.2 到 0.8，软性调节让信息可以部分通过，梯度也因此拥有平滑的时间通路。

为何常见：“门”这个汉字本身就带有二值开关的联想，忽略了 soft 门控的设计初衷。

误区“GRU 参数量随维度增加，那我直接把 h 设成 512，反正算力够。”

正解参数随 h 二次增长，h 翻倍参数翻四倍；小数据集上过拟合风险剧增，推理延迟也同步上升。经验法则是从 64 到 128 起步，观察训练与验证损失的差距再决定加减容量。

为何常见：直觉上“模型越大越能记住”，忽略了泛化能力与数据规模必须匹配。

误区“GRU 把细胞状态都省了，肯定记不住长距离信息。”

正解更新门 z 接近 1 时，h_t ≈ h_{t-1}，旧信息可以原样跨越多时间步，这条通道就是长期记忆的载体。只是相比 LSTM 少了一条独立细胞状态，在极端长依赖下 GRU 略吃亏，绝大多数应用中无需过度担心。

为何常见：把“状态合并”误解为“记忆消失”，忽略了更新门的保鲜作用。

面试题

Q1. GRU 相比 LSTM，最核心的精简思路是？

单选题 · easy

  • A.用线性层替代全部门控
  • B.三门并两门且状态合一← 正确答案
  • C.取消了循环连接结构
  • D.改用卷积提取局部特征

答案：B。GRU 将 LSTM 的输入门与遗忘门合并为更新门，同时移除输出门，并把细胞状态并入隐藏状态，从而从四组权重降为三组。A、C、D 都偏离了 GRU 的实际设计。

Q2. 重置门的输出范围是？

单选题 · easy

  • A.0 到 1 之间的开度← 正确答案
  • B.-1 到 1 之间的值
  • C.只能是 0 或 1
  • D.任意实数都能输出

答案：A。重置门由 sigmoid 激活，输出恒在 (0,1) 之间，表示“翻篇开度”。tanh 才输出 (-1,1)，而门控绝不是二值开关。

Q3. 更新门 z_t 接近 1 时，对状态的影响是？

单选题 · mid

  • A.完全丢弃旧状态信息
  • B.更多保留旧状态信息← 正确答案
  • C.重置门必然同时为 1
  • D.梯度立刻发生爆炸

答案：B。最终状态公式中旧状态权重为 (1-z_t)，z 接近 1 时旧状态保留比例高，候选只做少量补充，这正是长期记忆的保鲜机制。C 与 D 都没有依据。

Q4. 重置门 r_t 在候选状态计算中的作用是？

单选题 · mid

  • A.按元素调制旧状态← 正确答案
  • B.对整个序列做归一化
  • C.控制学习率的衰减
  • D.决定词嵌入维度大小

答案：A。候选状态公式中出现的是 r_t ⊙ h_{t-1}，即重置门按元素地调制旧状态，被翻篇的部分归零。其余选项与重置门无关。

Q5. 输入维度 n=10，隐藏维度 h=20 时，GRU 的参数量为？

单选题 · mid

  • A.930 个参数
  • B.1860 个参数← 正确答案
  • C.2480 个参数
  • D.4200 个参数

答案：B。由 P=3h(n+h+1) 代入得 3×20×31=1860。2480 是 LSTM 的参数量，930 是单个门的参数量。

Q6. 训练 GRU 时出现梯度消失，合理的原因有？

多选题 · hard

  • A.更新门长期接近 0← 正确答案
  • B.更新门长期接近 1
  • C.多层堆叠且无残差连接← 正确答案
  • D.重置门权重矩阵全为零

答案：AC。梯度沿 (1-z) 的旧状态通路回传，z 接近 0 时该通路被堵死，只能走 tanh 候选路径，多次压缩导致衰减；多层堆叠进一步放大衰减。z 接近 1 恰恰让旧状态通路畅通，重置门归零并不会阻断 (1-z) 通路。

Q7. GRU 参数少于 LSTM 却能与后者性能相当，根本原因在于？

单选题 · hard

  • A.输入遗忘两门互补可合并← 正确答案
  • B.重置门替代了注意力机制
  • C.隐藏状态从零开始初始化
  • D.更新门取消了非线性变换

答案：A。经验观察显示 LSTM 的输入门与遗忘门常呈互补关系（要遗忘的多，要写入的就少），合并成更新门后信息流冗余度低，因此精简而不掉点。

Q8. GRU 相比 LSTM 的工程优势包括？

多选题 · mid

  • A.参数量更少更省显存← 正确答案
  • B.训练与推理速度更快← 正确答案
  • C.一定取得更高的准确率
  • D.更便于边缘设备部署← 正确答案

答案：ABD。参数量约为 LSTM 的 75%，训练与推理通常更快，模型更轻所以利于端侧部署。但准确率取决于数据与任务，不能断言一定更高。

Q9. 关于状态融合公式 h_t=(1-z_t)⊙h_{t-1}+z_t⊙h̃_t，正确的说法有？

多选题 · hard

  • A.两个系数之和恒等于 1← 正确答案
  • B.融合结果数值范围可控← 正确答案
  • C.z 越大旧状态保留越少← 正确答案
  • D.h̃ 与 h_{t-1} 必须正交

答案：ABC。这是凸组合，系数和为 1，新状态位于新旧向量之间，数值范围可控；z 增大时 (1-z) 减小，旧状态保留变少。正交性不是必要条件。

Q10. 工程调参时，要缓解 GRU 在小数据集上的过拟合，首选手段是？

单选题 · easy

  • A.增大隐藏维度并堆叠层数
  • B.调小隐藏维度并加正则← 正确答案
  • C.把学习率设置为零
  • D.无限增加训练轮数

答案：B。参数随维度二次增长，小数据上容量过大必然过拟合，因此应调小 h、引入 Dropout 等正则手段。增大容量、零学习率、无限训练轮数都会让情况更糟。