神经网络前向传播的计算过程

可视化演示

通过逐层前向传播动画、神经元计算细节和激活函数对比三个维度，动态展示神经网络数据从输入到输出的计算流程，直观理解加权求和与非线性变换。

前向传播概述

想象你站在那家工厂的参观通道上：原料从西门进来，被传送带送进第一道工序，加工完的半成品自动落入下一道工序的入口，直到东门出现包装好的成品。你顺着传送带走一遍，全程只看加工过程、不调任何机器——这趟单向参观，就是“前向传播”的完整缩影。

在神经网络里，“传送带”是层与层之间的连接。一个网络通常有输入层、若干隐藏层、输出层。每一层神经元做两件固定的事：先把上一层送来的信号做加权求和并加偏置（线性变换），再送入激活函数做非线性变换。数据从输入层出发，一层层算下去，最后在输出层得到预测值。这个从输入到输出的单向计算过程，就叫前向传播。

前向传播为什么是基础？因为反向传播要靠它“铺路”——梯度需要沿着前向传播走过的路径原路返回，才能逐层更新权重。换句话说，没有前向传播算出的结果，后面所有的学习和调参都无从谈起。它也是模型推理（预测）阶段唯一会执行的步骤，模型上线后每来一条新数据，都要跑一次前向传播。

整个前向传播就像一次完整的工厂参观：每道工序只关心自己收到的半成品，加工完就往下一道送，最终在出口看到成品。理解了这个大框架，接下来我们逐一拆开每道工序的细节。

输入层与特征

参观的第一站是原料登记处。一箱苹果送进工厂，工人先按“大小、颜色、甜度”逐项测量，填成一张标准化的清单。这张清单就是原料的“数字身份证”——它不加工任何东西，但接下来的每一道工序都靠它来配料。

输入层就是这个登记处。它的节点数等于特征数量，每个节点只负责承载一个特征值。比如预测房价：面积 85 平方米、房龄 10 年、距地铁站 500 米，三个特征拼成一个三维向量，原样传给下一层。输入层本身不参与计算，它的全部职责是把原始数据整理成网络能消费的格式。

这里的关键是“特征如何变成数字”。表格数据本身是数字，直接拼成向量即可；图片要展平成像素值向量；文本要先经分词、映射成词向量。无论哪种数据，最终都会以向量的形式进入网络。向量里的每个位置对应一个特征，顺序一旦定下来，整个训练过程中都不能随意更换，否则配方的含义就乱套了。

原料清单登记完毕，下一站就是配料车间——每个特征都要按比例称重，这就是加权求和。

加权求和运算

配料车间里，师傅拿出一本配方册，说：“这锅料，面积占比 60%，房龄占比 30%，距地铁站占比 10%。”他把每一项原料乘上对应的比例，倒进大桶里搅拌均匀。这个步骤，就是神经网络里最核心的加权求和。

在单个神经元里，每个输入特征 $x_i$ 都配有一个权重 $w_i$，两者相乘后全部累加，得到的结果叫“净输入” $z$。权重可正可负：正权重意味着这个特征对结果起促进作用——面积越大房价越高；负权重意味着抑制作用——房龄越老房价越低。权重的绝对值越大，这个特征在决策中的话语权就越强。

一个神经元就是一张配方，一层的神经元就是一组配方。上一层的 $n$ 个特征送到每个神经元，各自按自己的权重称重、求和，于是 $n$ 个输入变成 $h$ 个净输入（$h$ 为本层神经元数）。注意，这一整个环节全都是线性运算——乘和加，没有弯弯绕绕。如果到此为止，网络再深也只是个线性模型，这就要等质检环节来补足了。

师傅拌好料，正准备下锅，忽然想起老师傅的叮嘱：不管这锅料怎么配，起锅前都必须放一勺盐——下一站，加底料。

偏置相加作用

老师傅的配方册扉页写着一句话：“不管这锅料怎么配，起锅前必须先放一勺盐。”这勺盐不是针对任何原料的，它的用量是固定的，与原料多少无关。没有这勺盐，汤的味道会缺少一个基准；有了它，咸淡才能灵活调节。神经网络里的偏置 $b$，就是这勺盐。

偏置是一个不乘任何输入的常数，直接加到加权和上：$z = \sum w_i x_i + b$。它的数学作用是让线性函数不必强制经过原点。没有偏置时，输入全为 0 则输出必为 0，决策边界会被死死钉在原点附近；有了偏置，神经元可以“抬起来”或“压下去”，从而适应各种数据分布。

在实现上，偏置通常是每个神经元一个数值，整层拼成一个偏置向量。它和权重一起组成这一层的全部可学习参数。训练时，反向传播会同时更新权重和偏置——但请注意，前向传播阶段偏置只是被动地参与加法，它不会自己发生变化。这也是初学者最容易忽略的地方：偏置是参数，但不是前向传播阶段要更新的东西。

底料放好了，混合料可以下锅了。但下锅前还有一道工序——质检员要按标准把关，这就是激活函数。

激活函数筛选

质检员老张站在传送带旁，手里握着一把尺子，规则只有一条：数值为负的一律打回，数值为正的原样放行。这就是世界上用得最多的激活函数——ReLU：$a = \max(0, z)$。它简单粗暴，却撑起了深度学习的大半个江山。

如果每层只做加权求和加偏置，那么无论堆多少层，整个网络数学上仍然只是一个线性函数——就像工厂每一道工序都只是“翻炒一下”，做不出形状复杂的产品。激活函数的使命，就是往网络里注入非线性。有了非线性，神经元才能在输入空间中刻出弯弯曲曲的边界，去拟合真实世界的复杂关系。

常见激活函数各有性格：ReLU 负数清零、正数保留，计算最快但可能让神经元“死亡”；Sigmoid 把任意实数压缩到 0 到 1，适合做概率输出；Tanh 压到 -1 到 1，中心对称，梯度更平稳。隐藏层默认首选 ReLU，输出层则根据任务另选。激活函数的作用也可以理解为“筛选”：它不改变信号的方向，只决定哪些信号更有资格流向下游。

质检通过后，半成品被送上下一道传送带。这一道工序的出口，恰好是下一道工序的入口——流水线就这样一层层延伸下去。

层间维度变换

流水线上，苹果进去，果泥出来；果泥加了配方，变成混合酱；混合酱灌装成瓶，变成成品。半成品的形态每经过一道工序就变一次。神经网络里也一样：每一层的输出向量，就是下一层的输入向量，而且维度可能发生变化——这取决于权重矩阵的形状。

假设输入维度是 3（三个特征），第一隐藏层有 5 个神经元，那么权重矩阵 $\mathbf{W}_1$ 的形状是 5×3：5 行代表 5 个神经元（5 张配方），3 列代表 3 个输入特征。输入向量乘上这个矩阵，得到维度为 5 的输出向量 $\mathbf{h}$。如果输出层有 1 个神经元，第二层权重 $\mathbf{W}_2$ 就是 1×5，最终输出 1 维预测值。

这个“维度逐层变化”的机制，让网络可以像漏斗一样先变宽再收窄，或者反过来。理解它最有用的场景是调试代码：当你看到 "matrix multiplication dimension mismatch" 的报错，99% 是因为权重矩阵的形状和输入维度对不上。记住一个口诀：前层输出维度 = 后层权重矩阵的行数，后层权重矩阵的列数 = 上一层节点数。

半成品终于走到了出厂质检线。接下来的问题是：这瓶果酱到底算合格还是优等？输出层负责给出最终判断。

输出层与预测

出厂质检线上，工人最后看一眼成品，贴上标签：这一瓶是“优等品”，那一瓶是“合格品”。输出层做的正是这件事。不过，任务不同，贴标签的方式也不同：预测房价是回归任务，输出层直接报一个连续数字，比如“385 万”；判断图片里是猫还是狗是分类任务，输出层输出每个类别的概率，所有概率加起来等于 1。

分类任务最常用 Softmax 作为输出层的“贴标签方式”。Softmax 先给每个类别的原始打分 $z_i$ 做指数变换，把可能为负的分数变成正数，再除以所有类别分数之和，让它们归一化成概率。这样，分数最高的类别概率最大，而且各概率之间是竞争关系——一个类别的概率升高，其他类别的概率必然下降。

为什么不用简单地“取最大值”？因为 Softmax 不仅给出“谁是冠军”，还保留了“冠军领先多少”的置信度：0.93 的猫概率和 0.51 的猫概率，对业务决策的意义完全不同。而且 Softmax 处处可导，方便反向传播更新参数。它是前向传播的最后一步，也是整个模型的“门面”——用户看到的最终预测，就是从这一步出来的。

出厂标签贴好了，一件产品的旅程到此结束。但工厂的经营之道远不止一条流水线——如果有一百箱原料同时进来，该怎么处理？答案是：把流水线升级成批量生产线。

矩阵批量加速

一家工厂如果一次只加工一箱苹果，再好的配方也撑不起大规模生产。聪明的做法是让生产线同时处理一百箱：所有箱子排队进场，一起称重、一起拌料、一起质检。前向传播里的矩阵运算，就是这条批量生产线。

前面讲的加权求和是针对单个样本的。把 $N$ 个样本拼成一个矩阵 $\mathbf{X}$（每行一个样本），一层计算就写成 $\mathbf{Z} = \mathbf{W}\mathbf{X}^{\top} + \mathbf{b}$。这样一来，原本要写 $N$ 次循环的加权求和，变成一次矩阵乘法。别小看这个“打包”，现代深度学习能处理海量数据，靠的正是 GPU 把矩阵乘法拆成成千上万个并行单元同时计算。

从代码角度看，矩阵运算只是“将很多次加权求和组织在一起”，数学本质没有变。PyTorch 里的 x @ w.T + b、NumPy 里的 x.dot(w.T) + b，背后都是这套逻辑。理解矩阵形状是读写神经网络代码的第一道门槛：输入 $(N, d)$ 乘权重转置 $(d, h)$，得到 $(N, h)$——$N$ 个样本在 $h$ 个神经元上的净输入，一次性全部算完。

批量生产线让效率飙升千倍，前向传播也因此有了处理亿级数据的底气。回顾整条流水线：原料登记、按配方称重、加固定底料、质检筛选、逐层传递、出厂贴标签——每一步都环环相扣。这篇讲透了前向传播，接下来你就能自信地走向反向传播，看看工厂是如何根据产品反馈来修改配方的。

---

AI 应用场景

Python 演示

import numpy as np def relu(x):    return np.maximum(0.0, x) def softmax(x):    e = np.exp(x - np.max(x, axis=1, keepdims=True))    return e / np.sum(e, axis=1, keepdims=True) class SimpleNet:    def __init__(self, in_dim=4, hidden_dim=5, out_dim=3):        self.w1 = np.random.randn(in_dim, hidden_dim) * 0.5        self.b1 = np.zeros(hidden_dim)        self.w2 = np.random.randn(hidden_dim, out_dim) * 0.5        self.b2 = np.zeros(out_dim)        self.gc_count = 0     def forward(self, x):        self.gc_count += 1        z1 = x @ self.w1 + self.b1        h = relu(z1)        z2 = h @ self.w2 + self.b2        return softmax(z2) if __name__ == "__main__":    np.random.seed(7)    net = SimpleNet()    x_batch = np.array([[0.5, 1.2, -0.8, 2.0],                        [-1.0, 0.3, 1.5, 0.7]])    y_pred = net.forward(x_batch)    print("预测概率：")    print(y_pred)    print("每行概率和为:", y_pred.sum(axis=1))    print("前向传播调用次数:", net.gc_count)

1. np.random.seed(7)固定随机种子，让权重初始化结果可复现，方便对比运行结果。
2. self.w1 = np.random.randn(in_dim, hidden_dim) * 0.5初始化第一层权重矩阵，形状为 4×5，小数值防止激活值过大。
3. z1 = x @ self.w1 + self.b1批量前向传播的加权求和，@ 是矩阵乘法，一次算完所有样本。
4. h = relu(z1)隐藏层过 ReLU 激活：负数清零，正数保留。
5. np.maximum(0.0, x)实现 ReLU 的核心比较运算，返回逐元素的最大值。
6. np.exp(x - np.max(x, axis=1, keepdims=True))Softmax 先减去每行最大值再取指数，防止数值溢出。
7. e / np.sum(e, axis=1, keepdims=True)归一化，让每行概率之和等于 1。
8. self.gc_count += 1用计数器记录前向传播的调用次数，方便调试模型被调用了几次。

常见误区

面试题