ViT视觉Transformer：图像分类新范式

可视化演示

模型背景：ViT从何而来

工坊里资历最老的师傅一直用放大镜慢慢扫视漫画的每一寸——他坚信只有从局部一点点看起，才能拼出全貌。这就是 CNN 的思路：用一个个小卷积核在图像上滑动，每次只“看”一小块，再靠层层堆叠扩大视野。但这种“局部扫描”有个天生的遗憾：想看到画面左上角和右下角之间的联系，必须穿过很多层网络，既慢又容易丢失线索。

2017 年，Transformer 在自然语言处理领域横空出世，它有一种神奇的能力：让序列中任意两个位置的词直接互相对话，一步就看全全局关系。这间工坊的新师傅们想：为什么不能把图像也变成“文字序列”呢？于是 2020 年，Google 团队的 ViT 论文《An Image is Worth 16x16 Words》诞生了——他们真的把一张 224×224 的图像变成了 196 个“词”，喂给纯 Transformer 网络，第一次在图像分类上击败了当时最强的 CNN。这一下，视觉领域的天花板被捅破了。

ViT 的核心设计逻辑可以概括为“万物皆可 token”。关键的第一步，是明确图像到底能拆成多少个 token，它由图像边长和 patch 边长共同决定：

工坊从此多了一位拆书匠：他不纠结于局部，而是先拆书，后面所有人围着拼图块平等交流。正是这个“从局部扫描到全局拼图”的范式转变，让 ViT 成了视觉大模型的新起点。

Patch切分：把漫画拆成整齐的拼图

拆书匠开工了。他拿来一张 224×224 像素的漫画书页，先在上面画好一张 16×16 的网格——不多不少，正好 14×14 个格子，每格就是一块 P×P 的拼图。这里的“拆”很有讲究：所有格子一模一样大，彼此紧紧挨着、绝不重叠，就像裁纸刀一刀一刀均匀切下去，保证每块拼图承载的信息量相当，也保留了它们在页面上的相对位置。

把每块拼图拿起来细看，它本身是一小块二维图像，有高、有宽、还有三个颜色通道（红绿蓝）。但 Transformer 的工坊只认一维的文字卡片，不认二维的图案。所以拆书匠要把每一块拼图“压平”：按行把像素一个个排成一长串。一块 16×16×3 的拼图，展平后就变成一根长度为 768 的向量——就像把一小块方地毯拆成一条长长的线头，线的顺序就是原来地毯的行走路径。

这个“压平”操作在数学上就是一个 reshape，把三维的小块变成一维的长向量：

拆完这一轮，漫画书页变成了 196 张窄长的“纸条”。但纸条之间的空间关系还没被编码，下一步，工坊要教这些纸条“记住”自己原本在页面上的位置。

PatchEmbedding：把拼图变成统一的卡片

196 张纸条长短不一规格混乱，有的写着 768 个数字，有的颜色通道分布不均匀，工坊的师傅们没法高效传递。拆书匠决定把它们全部做成统一规格的“工坊标准卡片”——这就是 Patch Embedding 的作用：通过一个可学习的线性投影矩阵，把每张 768 维的纸条压缩或映射成一个 D 维的嵌入向量（ViT 常用 D=768 或 1024）。

这个映射在数学上就是一次矩阵乘法。想象每张纸条上的 768 个数字排成一列，乘以一个形状为 768×D 的投影矩阵 E，得到一根 D 维的新向量。矩阵 E 里的每一个数字都是模型在训练中自动学出来的参数，它像一个“翻译官”，知道原始像素的哪些组合模式是有意义的——比如边缘、纹理、色块。经过这层映射，每个 patch 不再是原始像素的简单罗列，而是被提炼过的“语义卡片”。

整个过程用公式写出来非常简洁：

现在，196 张统一规格的卡片整整齐齐摆在工坊桌上。但这时有个严重的问题：卡片之间完全一样排序打乱也没区别——工坊没人知道哪张卡片原本在左上角、哪张在右下角。下一节，就该给卡片编上座位号了。

位置编码：给拼图块编上序号

师傅们把 196 张标准卡片摊在长桌上，发现一个尴尬的事实：自注意力机制天生是“排列不变”的——就像一群只认卡片内容、不认卡片位置的助手，你把 3 号卡片和 7 号卡片换位置，他们的讨论结果完全一样。对文字来说，词语顺序就是语义的一部分；对图像来说，位置更是灵魂。一副拼图如果块块都正确但位置全乱，那将毫无意义。

解决之道是位置编码（Positional Encoding）：为每一个位置准备一个可学习的“序号向量”，直接加到对应位置的 patch 嵌入上。ViT 用的不是三角函数那种固定的位置编码，而是一张可学习的参数矩阵 E_pos——它像一个座位表，每个座位都有自己专属的“气味标签”，助手们闻到标签就知道这张卡片原本坐在哪里。训练过程中，模型会自动学会如何编码“相邻”、“左上”、“中心”等空间关系。

在真正送入 Encoder 之前，还要做一件事：在序列最前面额外插一个特殊的 CLS token（后面会细讲）。把 CLS token 和 196 个 patch 卡片拼接，再整体加上位置编码：

有了位置编码这瓶“隐形墨水”，工坊长桌上的讨论终于有了空间秩序。不过，ViT 的位置编码有一个重要的脾气：它非常依赖大数据的喂养，训练数据不够时，这套座位表很难学好——这一点我们会在误区部分细说。

Encoder编码：工坊里的传纸条大会

现在，197 张“带味”的卡片摆上了长桌。工坊的讨论规则分为两层：先是全体师傅同时传纸条——这就是多头自注意力（Multi-Head Self-Attention）；然后每张卡片自己整理收到的所有纸条并做出总结——这就是 MLP 层。两层之间都加了“残差连接”（把原始卡片信息原封不动保留下来再叠加），并用 LayerNorm 稳定每一轮的信号强度，防止讨论越来越跑偏。

自注意力是这场大会的核心机制。每张卡片 x 都会生成三个角色：查询（Query，我想找谁）、键（Key，我是谁）、值（Value，我有什么信息）。任意两张卡片之间，用查询和键做点积算出“我们俩有多相关”，再用这个相关度对所有卡片的值做加权求和。这样一来，左上角的拼图块可以直接“看见”右下角的拼图块，一步跨越整个图像——这正是 CNN 梦寐以求的全局感受野。

多头版本则是把 768 维的卡片切成 H 个 64 维的“头”，每个头独立开一场讨论，关注不同维度的关系——有的头专门关心颜色相似性，有的头关心纹理延续性，最后把所有头的结果拼在一起。单头注意力的核心公式是：

一场传纸条大会下来，每张卡片都吸收了全场的信息，变成了“见过世面”的新卡片。但师傅们讨论得再热闹，最终还是要有人站出来宣布结论。工坊里那个一直不说话的 CLS 店长，终于要开口了。

分类输出：店长读出书名

讨论进行了 12 轮（12 层 Encoder），长桌上的每张卡片都早已不是最初的模样——它们各自掌握了全书的全局信息。但工坊最终要交出一份结论：这本漫画属于哪个类别？这时候，序列最前面那个特殊的 CLS token 就派上了用场。它从一开始就被插在序列首位，不携带任何具体 patch 的信息，唯一的作用就是“旁听”：在每一轮注意力交换中，它都能看到所有卡片的信息，同时所有卡片也能看到它。

你可以把 CLS token 理解为一位从头到尾只做记录、不发表观点的店长。12 轮讨论结束后，店长手里等于握着全场所有拼图块交叉印证后的浓缩信息。现在只需把他的记录本——最后一层输出的 CLS 向量——交给分类头（一个全连接层），就能映射成每个类别的得分，再经过 softmax 变成概率分布：

整个工坊的训练模式也值得记住：先在超大数据集（如 JFT-300M）上预训练，让拆书匠和师傅们学会“通用的读图能力”，再到 ImageNet 等下游数据集上微调。预训练时还会用 1D 位置编码插值来适配更大尺寸的输入图像——这就是视觉大模型“先通读万卷书，再精读一本”的成长路径。

AI 应用场景

Python 演示

import torchimport torch.nn as nn  class PatchEmbed(nn.Module):    def __init__(self, img_size=224, patch_size=16, in_chans=3, embed_dim=192):        super().__init__()        self.patch_size = patch_size        self.num_patches = (img_size // patch_size) ** 2        self.proj = nn.Conv2d(in_chans, embed_dim,                              kernel_size=patch_size, stride=patch_size)     def forward(self, x):        x = self.proj(x)        x = x.flatten(2)        x = x.transpose(1, 2)        return x  class TransformerBlock(nn.Module):    def __init__(self, embed_dim=192, num_heads=4, mlp_ratio=4.0):        super().__init__()        self.norm1 = nn.LayerNorm(embed_dim)        self.attn = nn.MultiheadAttention(embed_dim, num_heads, batch_first=True)        self.norm2 = nn.LayerNorm(embed_dim)        hidden_dim = int(embed_dim * mlp_ratio)        self.mlp_block = nn.Sequential(            nn.Linear(embed_dim, hidden_dim),            nn.GELU(),            nn.Linear(hidden_dim, embed_dim),        )     def forward(self, x):        x = x + self.attn(self.norm1(x), self.norm1(x), self.norm1(x))[0]        x = x + self.mlp_block(self.norm2(x))        return x  class SimpleViT(nn.Module):    def __init__(self, img_size=224, patch_size=16, num_classes=10,                 embed_dim=192, depth=6, num_heads=4):        super().__init__()        self.patch_embed = PatchEmbed(img_size, patch_size, 3, embed_dim)        self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim))        self.pos_embed = nn.Parameter(            torch.zeros(1, self.patch_embed.num_patches + 1, embed_dim))        self.blocks = nn.ModuleList(            [TransformerBlock(embed_dim, num_heads) for _ in range(depth)])        self.norm = nn.LayerNorm(embed_dim)        self.head = nn.Linear(embed_dim, num_classes)     def forward(self, x):        B = x.shape[0]        x = self.patch_embed(x)        cls_tokens = self.cls_token.expand(B, -1, -1)        x = torch.cat([cls_tokens, x], dim=1)        x = x + self.pos_embed        for blk in self.blocks:            x = blk(x)        x = self.norm(x)        cls_out = x[:, 0]        logits = self.head(cls_out)        return logits  if __name__ == "__main__":    model = SimpleViT()    dummy = torch.randn(2, 3, 224, 224)    out = model(dummy)    print("输出形状:", out.shape)

1. self.proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch_size, stride=patch_size)用步长等于卷积核大小的卷积实现 Patch Embedding，一举完成切块和线性投影。
2. x.flatten(2).transpose(1, 2)把 [B, D, 14, 14] 展平为 [B, D, 196] 再转置成 [B, 196, D]，让序列维度排第二。
3. self.cls_token = nn.Parameter(torch.zeros(1, 1, embed_dim))定义可学习的 CLS token，初始化为零向量，训练中自动更新。
4. torch.cat([cls_tokens, x], dim=1)把 CLS token 拼接到 196 个 patch token 前面，得到长度为 197 的序列。
5. x = x + self.pos_embed把位置编码加到 token 序列上，注入空间位置信息。
6. x + self.attn(self.norm1(x), ...)[0]残差连接套 LayerNorm 加多头自注意力，是 Transformer Block 的标准结构。
7. cls_out = x[:, 0]取出序列第一个位置（CLS token）的输出，送入分类头。
8. dummy = torch.randn(2, 3, 224, 224)构造一个批大小为 2、3 通道、224×224 的随机图像，验证前向传播通畅。

常见误区

面试题