感知机与多层网络：前向传播

可视化演示

展示前向传播计算流程：传播流程模式演示输入逐层经过权重矩阵与激活函数计算输出；激活函数模式对比ReLU/Sigmoid/Tanh非线性变换；矩阵运算模式展示仿射变换y=Wx+b的计算过程。

前向传播流程

回到那家奶茶店。研发新品的早晨，你拿起配方表，先称原料、混合、过滤，再调味、试喝、记录评分。每一步都只把上一工序的半成品继续加工，绝不回头。你可以把这条“配方流水线”看作神经网络的前向传播：给定一份输入，网络从输入层出发，逐层算到输出层，最后得到一个预测。

在感知机时代，一个神经元只有一根“配方线”：把多个原料用量分别乘上对应权重，再加总，最后通过一个开关判断是否“放行”。多层网络把这种简单神经元一层一层地拼起来：每个圆点是一道工序，每条连接线是一种原料用量，一组连接线共同构成这一层的“配方表”。数据从输入层流进，经过隐藏层加工，最终在输出层形成预测。

用数学记下第 \(l\) 道工序：

整条流水线永远是单向的。训练时提到的反向传播是另一码事：它像顾客喝完反馈“太甜了”之后，研发师回头修改配方表。但修改之前，必须先让这杯奶茶按当前配方完整走一遍——这就是为什么前向传播是一切学习和推理的起点。

输入特征表示

研发新饮品时，你会把一杯奶茶拆成一串可量化的原料：茶 20 克、奶 150 克、糖 10 克、珍珠 30 克。这一串数字就是这杯奶茶的“特征向量”。如果同时研发 64 杯奶茶，你就会得到一张 64 行的大表，每行是一杯，每列是一种原料。这张大表在神经网络里就是“批量输入矩阵”。

批量输入让计算变得高效：与其一杯一杯慢慢做，不如把所有杯子按同样工序一起处理。很多深度学习框架之所以能把训练和推理加快，正是因为它把几百条样本同时送进网络，一次完成大量矩阵运算。

在送入网络之前，原料单位最好统一。如果茶用克、奶用毫升、糖用“勺”，模型会很难学。工程师通常先做标准化或归一化，相当于把所有原料都换算成统一的“克”，让每个特征都在相近的尺度上。

权重与线性变换

每道工序最核心的动作，是把“上一道成品”和“配方表”相乘。假设第一道工序想产出两个中间风味：茶香浓度和奶香浓度。那么配方表就是一张两行多列的表格，每一行对应一个输出风味，每一列告诉网络“某种原料对这个风味贡献多少”。矩阵乘法做的事，其实就是把这些贡献加权求和。

这种“先乘权重再加偏置”的操作，数学上叫仿射变换。它就像调制一杯饮品时，先把各种原料按比例混合，再统一加一点水或冰。没有偏置时，线性变换只能通过原点；加入偏置后，整条直线可以上下平移，表达能力立刻强了一截。

权重在训练开始前需要初始化。就像新配方先用一套随机比例试试水，不能一开始全设成零，否则所有工序都会输出完全相同的半成品，网络就学不出差异。

偏置的作用

如果你的配方表里只有“原料 × 权重”，那么当所有原料都用完时，这杯饮品就什么味道都没有。但现实中，即使不放任何配料，杯子里也至少要有水或冰块。这就是偏置的意义：它保证工序在“零输入”时也有一个基础输出。

从几何上看，偏置让线性函数的图像不再强制经过原点。比如判断一杯奶茶是否“好喝”，如果只有权重，决策边界必须穿过零点；加入偏置后，边界可以在坐标平面里自由移动，贴合真实数据分布。很多新手觉得偏置可有可无，其实它和权重一样，是网络能否拟合偏移数据的关键。

在代码实现中，偏置通常初始化为零或很小的数。这像是先给工序一个“白水底料”，后续再根据顾客反馈慢慢调整。没有这个底料，无论配方表怎么改，所有线性输出都必须经过零点，拟合能力会受到明显限制。

激活函数与非线性

调制好混合液后，品控员要试喝并决定这杯饮品是否合格。激活函数就是这道品控闸门。如果所有工序都只做线性混合，那么无论叠多少层，整条流水线仍然等价于一个线性变换——就像反复把原液倒来倒去，味道始终只是原料的线性组合，变不出新层次。

ReLU 是最常见的闸门：输入为正就原样放行，输入为负就一律归零。它的好处是计算简单、训练稳定。Sigmoid 则是另一道平滑闸门，会把任意实数压到 0 到 1 之间，适合表示概率，但在深层网络中容易让梯度变得非常小，引发“梯度消失”。

激活函数是“多层网络变强”的真正原因。它让每一层都能对前一层结果做出非线性加工，于是网络才能拟合复杂函数，例如区分甜度、茶香和奶泡厚度之间千变万化的组合。

多层堆叠与表示学习

只做一杯奶茶只需要一道工序，但要做一杯层次丰富的厚乳茶，就需要多道工序：第一道把茶叶、牛奶、糖浆混合成基底，第二道把基底和奶盖、珍珠组合成最终成品。多层神经网络的隐藏层，就是在做这样的“逐层抽象”。

第一层看到的是原始特征，比如原料克数；第二层看到的是第一层加工后的“中间风味”，比如“茶感”“奶感”“甜度”；第三层甚至可以把这些风味组合成更高级的概念。每一层的输出都是下一层的输入，整个过程像一场接力赛，逐渐把原始数字变成有意义的预测。

隐藏层的数量和宽度，决定了网络能刻画多复杂的“配方”。隐藏层越多，网络越能学习抽象概念，但同时也需要更多数据和更精细的训练技巧。前向传播正是在这些隐藏层之间不停传递信息，让“原料”逐步变成“成品”。

前向推理与部署

当配方通过测试后，奶茶店就要把配方固定下来，开始量产。神经网络完成训练后，权重和偏置不再变化，前向传播就变成了纯粹的“推理”：输入一份新数据，按固定配方走一遍流水线，直接得到预测结果。这就是你在手机相册、语音助手和推荐系统里感受到的 AI。

在实际部署中，工程师追求的是“多快好省”地完成前向传播。GPU 可以一次并行处理成千上万杯“奶茶”，因为矩阵乘法天然适合并行；分布式系统可以把不同的请求分给不同机器，让整条流水线同时服务大量用户；模型压缩则像精简配方，去掉冗余原料，让推理更快。

因此，前向传播不只是课本概念，它也是线上系统每秒执行千万次的核心动作。无论模型有多大、业务有多复杂，最终为用户提供价值的，都是这条经过精心调制的“单向配方流水线”。

AI 应用场景

Python 演示

import numpy as np def relu(z):    return np.maximum(0, z) def softmax(z):    e = np.exp(z - z.max(axis=1, keepdims=True))    return e / e.sum(axis=1, keepdims=True) class MLP:    def __init__(self, sizes, seed=42):        rng = np.random.default_rng(seed)        self.weights = []        self.biases = []        for i in range(len(sizes) - 1):            self.weights.append(rng.standard_normal((sizes[i], sizes[i + 1])) * 0.1)            self.biases.append(np.zeros((1, sizes[i + 1])))     def forward(self, X):        a = X        for i, (W, b) in enumerate(zip(self.weights, self.biases)):            z = a @ W + b            if i < len(self.weights) - 1:                a = relu(z)            else:                a = softmax(z)        return a if __name__ == "__main__":    X = np.array([[0.5, 0.2], [0.1, 0.9]])    net = MLP([2, 4, 3], seed=7)    print(net.forward(X))

1. rng.standard_normal((sizes[i], sizes[i + 1])) * 0.1随机初始化权重矩阵，并缩放到较小范围，避免一开始输出过大。
2. np.zeros((1, sizes[i + 1]))偏置初始化为零，相当于先给工序一个空白底料。
3. z = a @ W + b前向传播中最核心的仿射变换：矩阵乘法后加偏置。
4. relu(z) if i < len(self.weights) - 1 else softmax(z)隐藏层用 ReLU，输出层用 Softmax，分别扮演“闸门”和“概率换算”角色。
5. X = np.array([[0.5, 0.2], [0.1, 0.9]])用两个 2 维样本验证网络能一次性输出 2×3 的预测矩阵。

常见误区

面试题