你有没有试过，在一场嘈杂的派对上，明明几十个人同时说话，你却能在某个瞬间，精准地捕捉到角落里朋友喊你的那句话？人类的耳朵有一种神奇的能力——把混杂在一起的声音，分离成一个个清晰的声源。这就是我们今天要讲的故事起点。 大语言模型就像一个“超级人耳”，它的神经网络深处，每个神经元都被几十种甚至上百种概念同时刺激着。“苹果”这个词，可能同时激活了水果的形状、公司的标志、手机的触感、牛顿的传说……一个神经元的输出，是无数概念混合在一起的“鸡尾酒”。人类无法理解这种混杂信号，就像你无法在五十人合唱里听清每个人的歌。 稀疏自编码器（Sparse Autoencoder，简称SAE）就是给AI配的那台“收音机”。它把混乱的混合信号，调到一个个清晰的“电台频道”上——每个频道，恰好只播一个概念。这正是机制可解释性领域最激动人心的工具之一，也是我们理解超级模型内部世界的一把钥匙。本文就带你从零开始，搞懂这台“AI收音机”到底怎么工作。

岗位关联

稀疏自编码器是AI对齐与安全研究的重要工具，掌握它意味着你能“听懂”模型在想什么，这是从事可解释性研究、AI安全审计的职业核心竞争力。

目录
  1. 可视化演示
  2. 问题缘起：鸡尾酒会上的众声喧哗
  3. 架构原理：一台收音机的内部构造
  4. 稀疏约束：给每个频道上锁
  5. 字典学习：找出那些“频道方向”
  6. 特征验证：如何确认每个频道真的“懂”了
  7. 应用前景：通向可解释AI的钥匙
  8. AI 应用场景
  9. Python 演示
  10. 常见误区
  11. 面试题

可视化演示

展示稀疏自编码器三维度：超叠加多义神经元（单神经元编码多特征）、稀疏分解架构（编码器-L1稀疏约束-解码器重建）、特征方向可解释性验证（单义特征发现与自动标注），理解机制可解释性核心工具。

本节配有交互动效（进入视口后自动加载，约 3KB）。

超叠加多义神经元问题 单神经元编码多个语义特征 特征叠加导致不可解释 h = sum(f_i * d_i) 超叠加使单个神经元同时编码多个特征，难以直接解释。

问题缘起：鸡尾酒会上的众声喧哗

想象你走进一家鸡尾酒会，五十位宾客同时交谈，侍者穿梭其间。你的耳朵接收到的是一个“大杂烩”声波——每个人说话的声音混合在一起。但神奇的是，你能在嘈杂中听清朋友的那句“明天老地方见”。大脑是怎么做到的？它把混合声波当作一个线性叠加，然后朝不同“声源方向”逐一分离。

大语言模型的神经网络深处，正上演着同样的鸡尾酒会。研究者发现，模型内部并非每个神经元对应一个清晰概念。相反，一个神经元的激活值是几十个概念的混合体：它的输出里既有“法律条文”的成分，又有“合同纠纷”的影子，还掺着“罪案调查”的意味。这种混合表征（Mixed Representation）让人无法直接解读：你盯着一堆神经元数值，却完全看不懂模型在想什么。

如果你想让AI“老实交代”它是怎么做出决策的——这正是机制可解释性（Mechanistic Interpretability）的核心追求——就必须先解决这个混合问题。稀疏自编码器应运而生：它像一台精密的收音机，把混为一体的声波，分离成一个个只含单一语义的“电台频道”。

回到鸡尾酒会。如果收音机调得够准，每个频道只播一个人的声音——这就是“稀疏”的含义：尽管现场有五十人，你一次聚焦的只有一两个人。稀疏自编码器就是帮你把“谁在说话”这件事，从一团混沌里拎清楚的工具。

x=a1d1+a2d2+⋯+amdm\mathbf{x} = a_1 \mathbf{d}_1 + a_2 \mathbf{d}_2 + \cdots + a_m \mathbf{d}_m
这个公式是说：任何一个神经激活信号 x，都可以看成若干“基本方向” d₁, d₂, …… 按不同音量 a₁, a₂, …… 混合出来的结果。收音机的任务，就是找出这些基本方向和音量。
  1. 信号分解把混合信号 x 拆成多个成分之和，就像把鸡尾酒会声波拆成每个人单独的声音。
    x=a1d1+a2d2+⋯+amdm\mathbf{x} = a_1 \mathbf{d}_1 + a_2 \mathbf{d}_2 + \cdots + a_m \mathbf{d}_m
  2. 方向向量每个 dᵢ 是一个“声源方向”，代表一种语义特征（如“水果”或“公司”），是高维空间中的一个箭头。
    di∈Rn\mathbf{d}_i \in \mathbb{R}^{n}
  3. 激活系数每个 aᵢ 是“音量旋钮”，表示该特征在此时刻的激活强度。系数越大，这个特征在混合信号中占的比重越高。
    ai∈Ra_i \in \mathbb{R}

架构原理：一台收音机的内部构造

收音机是怎么把混合声波分离成清晰频道的？核心是“调台”：旋转旋钮，锁定某一个频率，过滤掉其他频率。稀疏自编码器做的事异曲同工——但它分离的不是声音频率，而是高维空间中的“语义方向”。

一台标准的自编码器由两部分构成。编码器（Encoder）负责把输入的高维信号“压缩”成一个较短的中间向量，就像一个漏斗；解码器（Decoder）负责把这个中间向量“还原”回原始信号，像反向的漏斗。训练的目标很简单：让解码出来的结果，尽可能和输入一致。如果任何信息在压缩-还原过程中丢失了，这个系统就会惩罚自己，直到找到一套“既压缩又不丢关键信息”的方案。

但标准的自编码器有个问题：它的中间向量是稠密的，每个维度都被塞进了大量混杂信息，仍然是那杯“众声喧哗”的鸡尾酒。稀疏自编码器做了一个关键改动：把隐藏层做得极其宽大，同时要求每个输入只激活其中极少数神经元。这样一来，每个被激活的神经元就像收音机锁定的频道——单独输出一种纯净的语义。

Lrecon=∥x−Decoder(Encoder(x))∥22\mathcal{L}_{\text{recon}} = \| \mathbf{x} - \text{Decoder}(\text{Encoder}(\mathbf{x})) \|_2^2
这个公式衡量“还原的误差”：输入 x 经过编码再解码后，得到重建值。两者差距越小，说明压缩过程越没丢东西。就像你用一句话概括一部电影，听完能还原出十之八九，才算好概括。
  1. 编码变换输入信号 x 先被编码器压缩成隐藏向量 h，完成“从繁到简”的浓缩。
    h=Encoder(x)\mathbf{h} = \text{Encoder}(\mathbf{x})
  2. 解码还原隐藏向量 h 再经解码器还原为重建信号 x̂，完成“从简到繁”的恢复。
    x^=Decoder(h)\hat{\mathbf{x}} = \text{Decoder}(\mathbf{h})
  3. 误差平方计算重建信号与原始信号逐元素差的平方和，误差越大惩罚越重，迫使系统学会保留关键信息。
    ∥x−x^∥22\|\mathbf{x} - \hat{\mathbf{x}}\|_2^2
  4. 训练目标最小化重建误差，让“概括-还原”的游戏越玩越精准，直到压缩不丢信息。
    min⁡Lrecon\min \mathcal{L}_{\text{recon}}

稀疏约束：给每个频道上锁

假设收音机有十万个频道，但设计师要求：任何时候你只能同时听到其中一两个。这个“只能同时听一两个”的强制要求，就叫稀疏性约束。它逼着收音机去找那些最能代表当前声音的少数频道，而不是把所有频道都糊在一起。

在数学上，稀疏自编码器引入了一个惩罚项——L1正则化。它像一个严格的监工，惩罚那些“同时亮起太多灯”的行为。每个隐藏神经元的激活值都要向0靠拢，除非它真的对重建信号至关重要。最终的效果是：对任意一个输入，绝大多数隐藏神经元保持沉默，只有少数几个“勇敢地站出来”发言。这就是我们所说的稀疏激活。

L1 与 L2 的区别很重要：L2 只会让激活值“变小”而不会归零（像调低音量），L1 则会逼它们“变成零”（像关掉频道）。稀疏性要的正是后者——彻底关掉那些无关的频道，只留下正在发声的那一个。这样一来，每个隐藏神经元都变成了一个“语义单一”的麦克风，为后续的可解释性打下基础。

L=∥x−Wh∥22⏟重建误差+λ∥h∥1⏟稀疏惩罚\mathcal{L} = \underbrace{\| \mathbf{x} - W \mathbf{h} \|_2^2}_{\text{重建误差}} + \lambda \underbrace{\| \mathbf{h} \|_1}_{\text{稀疏惩罚}}
这里的 λ 是个“旋钮”：拧大它，稀疏惩罚变强，更少的神经元会被允许发言；拧小它，神经元们更自由，输出的特征就更庞杂。找到合适的 λ，就像把收音机调到一个“恰好清晰”的电台频率。
  1. 重建误差项衡量信号还原的保真度——解码回去的信号跟原信号差多少。
    ∥x−Wh∥22\|\mathbf{x} - W \mathbf{h}\|_2^2
  2. L1 惩罚项把隐藏层激活值的绝对值求和。它逼迫多数激活值“归零”，只留下最必要的少数。
    ∥h∥1=∑j∣hj∣\|\mathbf{h}\|_1 = \sum_j |h_j|
  3. λ 平衡系数一个手动调节的超参数，控制“保真”与“稀疏”之间的天平往哪边倾斜。
    λ>0\lambda > 0
  4. 整体目标在“不丢信息”和“尽量稀疏”之间找平衡——既要还原得准，又要说得少而精。
    min⁡θ  Lrecon+λ∥h∥1\min_{\theta} \; \mathcal{L}_{\text{recon}} + \lambda \|\mathbf{h}\|_1

字典学习：找出那些“频道方向”

稀疏自编码器训练完成后，它的解码器权重矩阵 —— 更准确地说是其中的每一列 —— 就构成了一部过完备字典。这个词听着高深，其实道理很简单：字典就是一本书，里面每个词条是一个“方向向量”，对应一种特征概念。过完备的意思是说，字典的列数远大于输入维度，词条比基本坐标轴还多，这样才能覆盖尽可能丰富的语义空间。

每个词条（列向量）就像收音机里的一个“频道方向”。当我们考察某个输入信号时，通过稀疏编码得到一组激活系数——系数大，说明当前信号在这个“频道方向”上投影很强；系数接近0，说明这个频道与当前信号无关。所有这些频道方向的线性组合，就重建出了原信号。稀疏性保证了每次只动少数几个频道，于是每个被激活频道都承载着一个清晰、独一无二的含义。

D∈Rn×m,m≫n\mathbf{D} \in \mathbb{R}^{n \times m}, \quad m \gg n
这行数学语言说的是：字典 D 是一个“超宽”矩阵，它的行数是输入维度 n，列数是词条数量 m，并且词条数远大于维度。正因为词条丰富，才能把千变万化的概念都涵盖进去——好比一本词典收词越多，越能解释更多句子。
  1. 字典矩阵解码器的权重矩阵 D 构成了特征字典，每一列是一个“词条方向”。
    D∈Rn×m\mathbf{D} \in \mathbb{R}^{n \times m}
  2. 过完备条件列数 m 远大于行数 n，意味着词条比原始空间维度更丰富。
    m≫nm \gg n
  3. 字典重建用激活系数 h 与字典 D 相乘，就还原出原始信号——相当于把词条按音量叠加。
    x≈Dh\mathbf{x} \approx \mathbf{D} \mathbf{h}
  4. 稀疏解码h 中只有极少数非零项，所以重建是“少数词条按权重放大”的结果。
    h is sparse,  ∥h∥0≪m\mathbf{h} \text{ is sparse}, \; \| \mathbf{h} \|_0 \ll m

特征验证：如何确认每个频道真的“懂”了

收音机调好了台，怎么确认每个频道确实在播放独立的节目？你当然可以直接听。对应到 AI 场景，研究者有一套特征验证流程来检验 SAE 学到的东西是否真的可解释。

第一步是激活样本测试：遍历大量文本，找到某个隐藏神经元激活值最高的那些样本。如果神经元 A 在含有“司法判决”语义的文本上高频触发，在无关文本上保持沉默，我们就有理由相信：这个神经元对应的是“司法判决”特征。第二步是稀疏率统计：记录每个输入平均激活多少个神经元。好的 SAE，每个输入通常只激活极少数神经元（比如1%以内），说明它诚实地做到了“稀疏”。第三步是人工标注：像给照片里的人脸起名字一样，研究者观察神经元触发的样本后，给它标注一个人类语义标签。标注结果是否一致、是否清晰，直接反映字典质量。

sparsity=平均激活神经元数隐藏层神经元总数×100%\text{sparsity} = \frac{\text{平均激活神经元数}}{\text{隐藏层神经元总数}} \times 100\%
稀疏率描述的是“平均每次有几个频道在说话”。如果一个拥有十万个频道的收音机，平均每次只播一个台，那它的稀疏率就是万分之一——这正是可解释性追求的理想状态。
  1. 激活率分子统计所有输入样本中，平均有多少个隐藏神经元被显著激活（激活值超过阈值）。
    avg activated neurons\text{avg activated neurons}
  2. 总神经元分母隐藏层一共配备了多少个神经元（即字典列数）。
    total hidden neurons\text{total hidden neurons}
  3. 稀疏率公式两者相除乘以100%，得到“平均激活比例”。比例越低，说明信号分离得越干净。
    avg activatedtotal×100%\frac{\text{avg activated}}{\text{total}} \times 100\%

应用前景：通向可解释AI的钥匙

一台能分离“鸡尾酒会声波”的收音机，一旦装到超级模型身上，会带来什么？答案是：我们第一次拥有了“读取模型思维”的可能。

在模型监控方面，稀疏自编码器相当于给模型安装了一套“内部仪表盘”。过去我们只能看到模型的输入输出，对它的内部推理一无所知；有了SAE，我们可以实时观察哪个特征被激活、在什么情况下被激活，就像飞行员盯着仪表盘一样监控模型的“思维状态”。

在欺骗检测方面，研究者发现，SAE可以捕捉到模型中某些隐藏的、与欺骗行为相关的特征——比如模型在“假装不知道”时激活的特殊模式。这些发现为识别和防止模型产生欺骗性行为提供了前所未有的视角。OpenAI的“超级对齐”团队正是看中了这一点，把SAE作为解读超级模型内部表征的核心工具之一。

收音机一旦装好，人们不仅能听清每个人在说什么，还能记录谁在什么时候说了话。这正是从“AI黑箱”走向“AI白箱”的关键一步——而稀疏自编码器，就是那台不可或缺的收音机。

可解释性=稀疏字典⏟清晰的频道+激活追踪⏟谁在发声\text{可解释性} = \underbrace{\text{稀疏字典}}_{\text{清晰的频道}} + \underbrace{\text{激活追踪}}_{\text{谁在发声}}
可解释性不是一个单一的魔术，而是“清晰的频道 + 实时追踪谁在发声”这两件事的组合。SAE同时解决了这两件事，所以它才成为 AI 对齐与安全研究中不可绕过的工具。
  1. 稀疏字典通过学习过完备字典，把模型内部的混合表征拆解成语义清晰的“特征方向”。
    字典: {d1,d2,…,dm}\text{字典: } \{\mathbf{d}_1, \mathbf{d}_2, \dots, \mathbf{d}_m\}
  2. 激活追踪监控每个输入样本激活了哪些特征、激活强度多大，形成“思维轨迹”。
    激活: a=Encoder(x)\text{激活: } \mathbf{a} = \text{Encoder}(\mathbf{x})
  3. 组合等式清晰频道与实时追踪相加，得到系统的可解释性能力。
    可解释性=字典+追踪\text{可解释性} = \text{字典} + \text{追踪}

AI 应用场景

模型内部审计

阶段：可解释性分析与安全审计

解决的问题：传统方法只能通过“输入-输出”行为推断模型意图，像隔着毛玻璃看人。SAE可以直接分析模型内部神经激活，把抽象的高维混合信号转化为人类可读的特征列表，让审计人员能“看到”模型在处理什么概念、有没有隐藏偏见。

具体案例：某金融机构部署LLM处理贷款审批。审计团队使用SAE分析模型处理客户申请时的内部激活，发现一个隐藏特征在“申请人来自特定地区”时异常激活，导致拒绝率偏差。团队据此定位并修正了模型的偏见行为。

模型欺骗行为监测

阶段：AI对齐与风险监控

解决的问题：大模型可能在被追问时“虚张声势”——给出看似合理的错误答案，甚至伪装无知。SAE可以捕捉到“内部不一致”的特征模式，在模型说谎前发出预警。

具体案例：研究团队在对话场景中接入SAE监控模块，当模型被问及训练数据之外的知识时，观察到某个与“不确定性”相关的特征先被激活，随后模型才给出回答。这个信号帮助团队设计了对不确定性的拦截策略。

Python 演示

python48 行
import numpy as np def generate_signals(n_samples, n_dim, n_features, seed=0):    rng = np.random.default_rng(seed)    X = rng.normal(size=(n_samples, n_dim))    return X class SparseAutoencoder:    def __init__(self, n_dim, n_hidden, lr=0.02, lam=0.1):        rng = np.random.default_rng(1)        self.encoder = rng.normal(size=(n_dim, n_hidden)) * 0.1        self.decoder = rng.normal(size=(n_hidden, n_dim)) * 0.1        self.lr = lr        self.lam = lam     def encode(self, x):        return np.maximum(x @ self.encoder, 0)     def decode(self, h):        return h @ self.decoder     def train_step(self, x):        h = self.encode(x)        x_recon = self.decode(h)        loss = np.mean((x - x_recon) ** 2) + self.lam * np.mean(np.abs(h))        grad_dec = (x_recon - x) / len(x)        self.decoder -= self.lr * (h.T @ grad_dec + self.lam * np.sign(h).T)        grad_enc = grad_dec @ self.decoder.T * (h > 0)        self.encoder -= self.lr * (x.T @ grad_enc + self.lam * np.sign(h) @ self.encoder.T)        return loss, np.mean(h > 0.01)     def fit(self, X, epochs=20):        for epoch in range(epochs):            total_loss = 0.0            total_sparsity = 0.0            for batch in np.array_split(X, 10):                loss, sparsity = self.train_step(batch)                total_loss += loss                total_sparsity += sparsity            print("epoch %d: loss=%.3f sparsity=%.2f" % (epoch, total_loss / 10, total_sparsity / 10)) if __name__ == "__main__":    X = generate_signals(2000, 20, 5)    sae = SparseAutoencoder(n_dim=20, n_hidden=80, lr=0.02, lam=0.1)    sae.fit(X, epochs=8)    sample = X[0]    h = sae.encode(sample)    print("激活维度数: %d / 80" % np.sum(h > 0.01))
目的：演示稀疏自编码器在合成数据上的训练过程——重建误差逐步下降，同时隐藏层激活的稀疏率保持在较低水平，直观展示“稀疏字典”是如何学出来的。
  1. self.encoder = rng.normal(size=(n_dim, n_hidden)) * 0.1初始化编码器矩阵，把20维输入映射到80维隐藏空间，实现“超宽隐藏层”的设置。
  2. return np.maximum(x @ self.encoder, 0)编码器使用ReLU激活，负值归零，为后续“稀疏激活”埋下伏笔。
  3. loss = np.mean((x - x_recon) ** 2) + self.lam * np.mean(np.abs(h))损失函数包含重建误差和L1稀疏惩罚，对应正文中“既要还原得准，又要说得少而精”的目标。
  4. self.decoder -= self.lr * (h.T @ grad_dec + self.lam * np.sign(h).T)解码器梯度更新，其中L1惩罚项的梯度是符号函数sign，它迫使隐藏层激活值向零靠拢。
  5. grad_enc = grad_dec @ self.decoder.T * (h > 0)编码器通过解码器反向传播梯度，只在激活为正的位置更新，这保证了梯度的稳定传递。
  6. print("epoch %d: loss=%.3f sparsity=%.2f" % ...)每个训练周期输出损失和稀疏率，帮助观察“误差下降”和“稀疏保持”的同步进行。

常见误区

误区我以为稀疏自编码器的目标就是把特征数量压到最少，隐藏层神经元越少越稀疏。

正解稀疏的真正含义是“每个输入只激活少数神经元”，而不是“神经元总数少”。恰恰相反，SAE的隐藏层往往比输入层宽大得多（可能数倍甚至数十倍），这叫做“过完备字典”——词条丰富，但每次只查几个词条。就像一本厚重的词典收录了大量词汇，但解释一个词时只引用其中少数几个词条。

为何常见：因为“稀疏”在直觉上让人联想到“少”，人们容易把它和“缩小规模”划等号，而忽略了它本质是“大规模下的选择性激活”。

误区训练好一个稀疏自编码器后，我就等于读懂了模型的所有思维过程，可以直接把每个神经元翻译成人话。

正解SAE只是把混合信号分离成了更清晰的“方向”，这些方向需要研究者进一步通过激活样本分析、人工标注来确认其语义。它提供的是一部“词典”，而不是一篇“翻译好的文章”。就像收音机分离出了声音，但你仍然需要听、需要理解，才知道频道里播的是什么内容。特征验证这一步不可省略。

为何常见：看到SAE产出的特征清晰可辨，容易让人产生“一切都已自动完成”的错觉，忽略了中间还有大量人工分析工作。

误区稀疏率越低说明模型分离特征的能力越强，所以应该把λ调到无穷大，让每次只激活一个神经元。

正解过度稀疏会损坏重建能力——如果你强迫一台收音机在五十人的鸡尾酒会上只保留一个频道，那么其他四十九人的重要信息就全丢了。SAE的目标是在“重建保真”和“稀疏程度”之间取一个平衡。λ过小则特征混杂，λ过大则信息失真。实际应用中，研究者会同时监控重建误差和稀疏率，找到那个“既清晰又不失真”的甜点。

为何常见：人们容易把“稀疏”当作唯一的优化目标，而忘记自编码器的本分——忠实重建输入。

误区稀疏自编码器只是在NLP领域用来解释大语言模型的，其他领域用不上。

正解SAE是一种通用的表征分解工具，适用于任何存在“混合表征”问题的神经网络——包括图像模型、语音模型、多模态模型。只要你的网络内部存在高维激活向量，并且你希望知道“这个激活里包含了哪些语义成分”，SAE就有用武之地。它本质上是“给神经活动做信号分离”，像收音机可用于音乐、新闻、广播剧一样，不挑节目类型。

为何常见：因为SAE在LLM可解释性研究中曝光度最高，容易让人误以为它是某个垂直场景的专用工具。

面试题

Q1. 稀疏自编码器的“稀疏”指的是什么？

单选题 · easy

  • A.隐藏层神经元总数很少
  • B.每个输入只激活少数神经元← 正确答案
  • C.输入数据的维度很低
  • D.训练数据量很少

答案：B。稀疏性描述的是激活模式——在宽大的隐藏层中，单个输入只触发其中极少数神经元。就像收音机频道众多，但每次只锁定一个台。A是规模小，C和D与稀疏无关。

Q2. 在 SAE 的损失函数中，L1 惩罚项的主要作用是什么？

单选题 · easy

  • A.加快模型训练速度
  • B.迫使激活值向零靠拢← 正确答案
  • C.增加隐藏层宽度
  • D.降低输入维度

答案：B。L1惩罚对绝对值求和，梯度恒定不为零，能有效驱使激活值归零，实现“关掉无关频道”的效果。B正确。A不是损失项的职责，C由网络结构决定，D与稀疏约束无关。

Q3. 为什么稀疏自编码器的隐藏层通常比输入层“更宽”？

单选题 · mid

  • A.为了减少计算量
  • B.为了创建过完备字典← 正确答案
  • C.为了避免过拟合
  • D.为了加速梯度下降

答案：B。隐藏层更宽意味着字典词条数远大于输入维度（m ≫ n），形成“过完备字典”，才能容纳足够丰富的语义方向。就像一部好词典需要尽量多的词条，才能解释各种句子。A、C、D与字典容量无关。

Q4. 特征验证中，“激活样本测试”的做法是？

单选题 · mid

  • A.随机抽取文本测试模型准确率
  • B.找到激活值最高的样本并观察语义← 正确答案
  • C.计算模型的参数量
  • D.统计训练数据的标签分布

答案：B。激活样本测试的方法是：遍历语料库，找到某个隐藏神经元激活值最高的若干文本，然后人工观察这些文本的共同语义，判断该神经元对应的特征含义。B正确，其他选项与“验证神经元语义”无关。

Q5. 下列哪些因素会影响 SAE 学到的特征质量？

多选题 · mid

  • A.稀疏惩罚系数 λ 的大小← 正确答案
  • B.隐藏层神经元的数量← 正确答案
  • C.训练数据的规模和多样性← 正确答案
  • D.模型输出的文本长度

答案：ABC。λ控制稀疏强度，隐藏层大小决定字典容量，训练数据影响特征覆盖范围，三者共同决定特征质量。D选项是模型推理时的输出属性，与SAE训练无关，不该选。

Q6. “重建损失”在 SAE 中衡量的是什么？

单选题 · mid

  • A.模型预测答案的正确率
  • B.解码还原信号与原始信号的差距← 正确答案
  • C.隐藏层激活的稀疏程度
  • D.编码器压缩的时间开销

答案：B。重建损失计算输入信号经过编码再解码后，与原始信号的差异。它衡量的是“概括-还原”游戏丢了多少信息。C是稀疏惩罚衡量的，A和D与重建无关。

Q7. 稀疏自编码器在 AI 对齐与安全中有哪些应用？

多选题 · hard

  • A.监控模型内部特征的激活状态← 正确答案
  • B.检测模型潜在的欺骗行为模式← 正确答案
  • C.直接修改模型的损失函数
  • D.为超对齐研究提供可解释视角← 正确答案

答案：ABD。SAE可用于模型监控（观察内部特征）、欺骗检测（发现隐藏的欺骗特征）、超对齐（解读超级模型内部表征）。C选项说“直接修改损失函数”——SAE是分析工具，不是训练时的损失函数修改手段。

Q8. 为什么说 L1 范数比 L2 范数更能产生“稀疏”效果？

单选题 · hard

  • A.L1 的梯度是常数，能持续把激活值推向零← 正确答案
  • B.L2 的梯度是常数，无法收敛
  • C.L1 的计算速度更快
  • D.L2 只适用于回归问题

答案：A。L1的梯度恒为±1，不会因值变小而减弱推挤力度，所以能把值一路推到零。L2的梯度随值变小而变小，越接近零推得越轻，最终只压缩不归零。A正确，类比是“L1直接关频道，L2只是调低音量”。

Q9. SAE 解码器权重矩阵的每一列在语义上代表什么？

单选题 · easy

  • A.一个训练样本的标签
  • B.一个“特征方向”← 正确答案
  • C.一个超参数
  • D.一个损失值

答案：B。解码器权重矩阵构成字典，每一列是一个“词条方向”，对应一种语义特征。组合这些列向量并乘以激活系数，就能重建出原始信号。B正确，A、C、D描述的不是字典列的含义。

Q10. 关于稀疏自编码器与传统自编码器的区别，以下哪些说法正确？

多选题 · hard

  • A.SAE 的隐藏层通常更宽← 正确答案
  • B.SAE 在损失中加入了稀疏惩罚← 正确答案
  • C.传统自编码器的隐藏层编码是稠密的← 正确答案
  • D.SAE 不需要重建损失

答案：ABC。SAE用宽隐藏层构造过完备字典（A对），在重建损失外叠加L1稀疏惩罚（B对），传统AE的隐藏层是稠密连续向量（C对）。D项错误——SAE同样需要重建损失，否则学到的特征会失真。